Question

如何正确利用网络爬虫

Answer 1

基本步骤
1、发现可读且可访问的URL。
2、浏览种子或URL列表以识别新链接并将它们添加到列表中。
3、索引所有已识别的链接。
4、使所有索引链接保持最新。

很多网站都具有反爬虫策略，常见的方式有：验证码、登陆、限制IP等。
1、验证码。可以利用打码平台破解(如果硬上的话用opencv或keras训练图)；
2、登陆。利用requests的post或者selenium模拟用户进行模拟登陆；
3、限制IP。使用代理IP，因免费IP效果非常差，所以建议选择收费代理IP。

Answer 2

1.‌使用正确的代理
‌如果站点检测到来自该IP地址的大量请求，很容易就会直接进行限制。但是如何避免通过同一个IP地址发送所有请求呢？这就需要代理IP出场了。代理IP可以充当用户客户端和尝试抓取的站点服务器之间的中介，并允许用户在发送请求时掩盖真实IP地址。
2. 轮换IP地址
获得代理池不足以防止用户爬虫被阻止，还需要定期轮换IP地址以进一步降低概率。
大多数网站的运作都理解为每个互联网用户只能获得一个分配给他们的IP地址。这就是为什么当一堆请求来自同一个IP号码时，就会立刻被发现。然而，用户通过代理IP将请求伪装成数千个用户的数千个请求就显得比较正常。
3.熟悉网站的反爬策略
大多数受欢迎的网站都有严格的反抓取规则。在用户尝试从任何网站提取数据之前，可以通过检查网站的机器人排除协议或robots.txt文件的方式先对网站的反爬策略进行一定的了解。