Question

使用爬虫代理被封IP了应该做哪些优化？

Answer 1

很多人不太了解代理ip，以为用了代理IP，爬虫就不会被限制，就可以一直稳定持续工作。然而，现实却是爬虫代理IP经常被封，爬虫工作也被迫中断。那么，爬虫代理IP被封有哪些原因呢?

一、非高匿代理IP
非高匿代理IP是指透明代理IP和普匿代理IP。透明代理IP会暴露机器的真实IP，普匿代理IP会暴露使用代理IP，两者都会暴露，容易受到限制。只有高匿代理IP才是爬虫代理IP的最佳选择。品易HTTP包含的IP均为高匿IP。

二、请求频率过高
爬虫任务一般比较大。为了按时完成任务，单位时间内的请求频率太高，会给目标网站服务器带来很大的压力，容易受到限制。

三、有规律地请求
一些爬虫程序不会考虑这一点，每次请求所花的时间相同，非常有规律，因此很容易受到限制。

四、单一IP请求次数过多
单一的代理IP请求次数太多也是很容易受到限制的，一般的站点都会限制一个IP在24小时之内或更短时间内被允许访问的次数，超过的次数将受到限制。

五、其他原因
各站点的反爬策略各不相同，这需要爬虫工程师进行研究分析，制定相应的爬虫策略。

Answer 2

1、换user_agent，网上有提供各种user_agent的网站，可以参考一下。
2、使用芝麻HTTP代理IP，切换不同的IP来爬内容。
3、设置访问时间间隔，每抓取一个页面就休眠一下。

Answer 3

有的问题是可以解决的，比如说涉及到ip的问题，别的问题就要你自己想办法了。

Answer 4

代理ip访问频率太快，被对方服务器发现；很多用户会觉得使用了代理ip就一定不会被封，所有设定高频率无线访问，代理ip也是ip，如果访问频率太快了一样也会遭受限制的。
检查自己的程序代码；很多爬虫用户是自己写的程序代码，检查代码是否规范使用代理ip，访问频率，间隔提取时间等。
访问目标网站是否升级；如果目标网站升级更新了，无法访问，那么自己的代码也要跟着更新。
代理ip质量;爬虫代理ip对ip质量是要求比较高，无论是ip质量还是匿名度都需要高质量的ip代理比如ipidea全球http。因此一般普通匿名的ip导致目标服务器很快就会发现。

Answer 5

推荐 小象代理 ，稳定，高效，第一次免费的体验时间也长