Question

爬虫因为ip地址被封了怎么办？

Answer 1

使用代理ip可以解决ip被封的问题，但是使用代理ip也被封的危险，以下就是可能被限制的原因、
一、非高匿代理IP
非高匿代理IP是指透明代理IP和普匿代理IP，透明代理IP会暴露本机真实IP，普匿代理IP会暴露正在使用代理IP，这两者都是会暴露，非常容易被限制，唯有高匿代理IP才是爬虫代理IP的最好的选择。
二、代理IP一手率较低
代理IP池用的人越多，一手率就越低，就可能会出现这样的情况：同一个代理IP，有很多人用来访问同一个网站，这种就非常容易被限制,因此使用纯净率高的代理至关重要。
三、请求频率过高
爬虫任务通常比较大，为了按时完成任务，单位时间内的请求频率过高，会给目标网站服务器带来巨大的压力，非常容易被限制。
四、有规律地请求
有些爬虫程序没有考虑到这一点，每个请求花费的时间都是一样的，非常的有规律，这种也很容易被限制，聪明的人通常都是会在请求完成后进行随机时间休眠。
以上就是使用代理ip被限制的原因，避免这些问题的发生就会减少ip被限制。

Answer 2

由于互联网大数据越来越火热，使用Python开展数据抓取变成了很多公司分析数据的方式，在使用爬虫频繁爬取同一网站时，一般都会发生被网站的反爬虫措施给封禁ip的情况，以便解决这一问题，爬虫工作者一般都是用一下这几种方法：
1、放慢爬取速度，减少对于目标网站带来的压力，但会减少单位时间类的爬取量。
2、伪造cookies，若从浏览器中能够 正常访问一个页面，则可以将浏览器中的cookies复制过来使用
3、伪造User-Agent，在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。
4、使用代理IP，使用代理IP之后能够 让网络爬虫伪装自己的真实IP。
对于python网络爬虫来说，有时候业务量繁重，分布式爬虫是最佳的增强效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，并且免费代理一般不提供高匿名的代理IP，因此不建议大家使用免费的代理IP。为了节约前期成本费而使用免费ip代理，最终只会因为免费ip的劣质而导致苦不堪言，反倒得不偿失。要想有效突破反爬虫机制继续高频率爬取，使用一款优质的代理IP是不可或缺的，可以进行选择代理上IP更稳定使用安全性更高。

Answer 3

反爬虫机制的触发一般是因为在短时间内多次访问同一个网站，被网站认定为恶意访问。这种情况下可以尝试放慢爬取数据的速度，让速度在网站的允许范围之内就可以。

Answer 4

现在网站一般都会设置反爬虫机制，如果此时还想继续访问这个网站，爬虫ip就很重要，如果当前的ip地址受限制，可以换一个新的ip地址，需要用到HTTP。可以用IPIDEA操作简单而且ip纯净，池量足够大，保证爬虫的顺利进行。

Answer 5

可以使用商业代理更换IP，一般爬数据的时候最好控制好速度，没控制好被封了的话，只能切换IP了。没有其它方法，或者有其它方法但是会进小黑屋。