Question

当Python爬虫遇到网站防爬机制时如何处理

Answer 1

绕过反爬虫机制的方法

 

1、模拟正常用户。反爬虫机制还会利用检测用户的行为来判断，例如Cookies来判断是不是有效的用户。

 

2、动态页面限制。有时候发现抓取的信息内容空白，这是因为这个网站的信息是通过用户的XHR动态返回内容信息。解决这种问题就要爬虫程序对网站进行分析，找到内容信息并抓取，才能获取内容。

 

3、降低IP访问频率。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。所以绕过反爬虫机制可以降低爬虫的访问频率，还可以用IPIDEA代理IP换IP解决限制。

Answer 2

User-Agent伪装和轮换，设置访问时间间隔，使用芝麻代理。

Answer 3

最简单最直接的办法是使用HTTP代理IP，例如代理云，拥有国内海量高质量HTTP代理IP资源，全国地区散段分布，IP的质量、稳定性、安全性都值得信赖。