Question

java怎么写爬虫？

Answer 1

爬虫都是基于现有的框架来开发的，基于java语言实现的爬虫框架很多，这里列举一个:WebMagic，它的架构设计参照了Scrapy，应用了HttpClient、Jsoup等Java成熟的工具，包含四个组件(Downloader、PageProcessor、Scheduler、Pipeline)，Spider是WebMagic内部流程的核心，上面的四个组件都相当于Spider的一个属性，通过设置这个属性可以实现不同的功能。

写爬虫你一定要关注以下5个方面：

1.如何抽象整个互联网

抽象为一个无向图，网页为节点，网页中的链接为有向边。

2.抓取算法

采用优先队列调度，区别于单纯的BFS，对于每个网页设定一定的抓取权重，优先抓取权重较高的网页。对于权重的设定，考虑的因素有：1.是否属于一个比较热门的网站2.链接长度3.link到该网页的网页的权重4.该网页被指向的次数等等。

进一步考虑，对于热门的网站，不能无限制的抓取，所以需要进行二级调度。首先调度抓取哪个网站，然后选中了要抓取的网站之后，调度在该网站中抓取哪些网页。这样做的好处是，非常礼貌的对单个网站的抓取有一定的限制，也给其他网站的网页抓取一些机会。

3.网络模型

分别考虑单机抓取和分布式抓取的情况。对于Windows的单机，可以使用IOCP完成端口进行异步抓取，该种网络访问的方式可以最大程度的利用闲散资源。因为网络访问是需要等待的，如果简单的同时开多个线程，计算机用于线程间切换的耗费会非常大，这种用于处理抓取结果的时间就会非常少。IOCP可以做到使用几个线程就完成几十个线程同步抓取的效果。对于多机的抓取，需要考虑机器的分布，如抓取亚洲的站点，则用在亚洲范围内的计算机等等。

4.实时性

新闻网页的抓取一般来说是利用单独的爬虫来完成。新闻网页抓取的爬虫的权重设置与普通爬虫会有所区别。首先需要进行新闻源的筛选，这里有两种方式，一种是人工设置新闻源，如新浪首页，第二种方式是通过机器学习的方法。新闻源可以定义链接数非常多，链接内容经常变化的网页。从新闻源网页出发往下抓取给定层级限制的网页所得到，再根据网页中的时间戳信息判断，就可以加入新闻网页。

5.网页更新

网页如果被抓下来以后，有的网页会持续变化，有的不会。这里就需要对网页的抓取设置一些生命力信息。当一个新的网页链接被发现以后，他的生命力时间戳信息应该是被发现的时间，表示马上需要被抓取，当一个网页被抓取之后，他的生命力时间戳信息可以被设置为x分钟以后，那么，等到x分钟以后，这个网页就可以根据这个时间戳来判断出，他需要被马上再抓取一次了。一个网页被第二次抓取以后，需要和之前的内容进行对比，如果内容一致，则延长下一次抓取的时间，如设为2x分钟后再抓取，直到达到一个限制长度如半年或者三个月（这个数值取决于你爬虫的能力）。如果被更新了，则需要缩短时间，如，x/2分钟之后再抓取法：

1.

下载选择并使用网络工具包；

2.

提交请求，使用get/post的方式提交请求；

3.

使用代理IP，对目标要求的各种必要参数源进行分析