Question

爬虫因为ip地址被封了怎么办

Answer 1

由于互联网大数据越来越火热，使用Python开展数据抓取变成了很多公司分析数据的方式，在使用爬虫频繁爬取同一网站时，一般都会发生被网站的反爬虫措施给封禁ip的情况，以便解决这一问题，爬虫工作者一般都是用一下这几种方法：
1、放慢爬取速度，减少对于目标网站带来的压力，但会减少单位时间类的爬取量。
2、伪造cookies，若从浏览器中能够 正常访问一个页面，则可以将浏览器中的cookies复制过来使用
3、伪造User-Agent，在请求头中把User-Agent设置成浏览器中的User-Agent，来伪造浏览器访问。
4、使用代理IP，使用代理IP之后能够 让网络爬虫伪装自己的真实IP。
对于python网络爬虫来说，有时候业务量繁重，分布式爬虫是最佳的增强效率方式，而分布式爬虫又急切需要数目众多的IP资源，这一点免费IP是满足不了的，并且免费代理一般不提供高匿名的代理IP，因此不建议大家使用免费的代理IP。为了节约前期成本费而使用免费ip代理，最终只会因为免费ip的劣质而导致苦不堪言，反倒得不偿失。要想有效突破反爬虫机制继续高频率爬取，使用一款优质的代理IP是不可或缺的，可以进行选择代理上IP更稳定使用安全性更高。

Answer 2

1. 检查机器人排除协议
在爬取或抓取网站前，确保目标网站允许从它们的网页采集数据。检查机器人排除协议 (robots.txt) 文件并遵守网站规则。
2. 使用代理IP
使用 IP 代理爬虫，没有代理，几乎不可能进行网络爬取。为获得最佳结果，请选择具有大型爬虫代理 IP 池（爬虫 IP 代理池）和大量位置的代理提供商。
3. 轮换 IP 地址
使用代理池后，轮换 IP 地址非常重要。如果用户从相同 IP 地址发送过多请求，目标网站很快就会识别出并对用户进行限制，而使用代理轮换使可以将用户伪装成多个不同互联网用户，降低被阻止的可能性。
4. 使用真实的用户代理
大多数托管网站的服务器都可以分析爬虫程序发出的 HTTP 请求的标头。这个 HTTP 请求标头称为用户代理，包含从操作系统和软件到应用程序类型及其版本的各种信息。
服务器可以轻松检测可疑的用户代理。真实用户代理包含由自然访问者提交的常用 HTTP 请求配置。为避免被阻止，用户可以选择使用真实的用户代理。