怎么用java写网络爬虫将网页中的指定数据下载到本地excel文档中 200
2个回答
展开全部
用java写爬虫，一定要关注以下5个方面：
1.如何抽象整个互联网
抽象为一个无向图，网页为节点，网页中的链接为有向边。
2.抓取算法
采用优先队列调度，区别于单纯的BFS，对于每个网页设定一定的抓取权重，优先抓取权重较高的网页。
3.网络模型
分别考虑单机抓取和分布式抓取的情况。
4.实时性
5.网页更新
1.如何抽象整个互联网
抽象为一个无向图，网页为节点，网页中的链接为有向边。
2.抓取算法
采用优先队列调度，区别于单纯的BFS，对于每个网页设定一定的抓取权重，优先抓取权重较高的网页。
3.网络模型
分别考虑单机抓取和分布式抓取的情况。
4.实时性
5.网页更新
本回答被网友采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
