Question

爬虫工作中，如何最大程度的避免被封IP

Answer 1

做爬虫，或者采集数据过程中，遇到最多的问题不是代码bug，而是封IP。开发好一个爬虫，部署好服务器，随后开始抓取信息，不一会儿，就提示封IP了，这时候的内心是崩溃的。
那么，有什么办法不封IP呢?首先，要了解为什么会封IP，这样才可以更好地避免封IP。有些网站反爬措施比较弱，伪装下IP就可以绕过了，大部分的网站的反爬措施都在不断加强，不断升级，这给预防封IP带来更大的困难。
有人说，使用代理IP就没事了了。诚然，使用大量的优质代理IP能够解决大部分的问题，但并非无忧无虑。我们知道，网站的反爬虫策略主要是反那些比较猖狂的爬虫，不可能反那些正常的用户。那么什么样的用户是正常的用户呢，如果将爬虫伪装成正常的用户呢，是不是就不会被封了。
首先，正常的用户访问网站频率不会太快，毕竟手速是有限，眼速也是有限的，爬虫要伪装成用户，那么抓取的频率就不能反人类，但这样一来，效率就大大降低了，怎么办?能够 使用多线程来解决。
其次，一些网站往往需要验证码来验证，对于正常使用的用户来说，基本都没问题，但对于爬虫来说，就需要一套较为厉害的验证码识别程序来识别了，像12306这样的验证码就较为难搞定了。随后，就是一些其他的细节了，比如，UserAgent经常换一换，cookie要清一清，访问的顺序最好不要有规律，爬取每个页面的时间没有规律等等。反爬虫策略不断升级，相应的爬虫策略也要不断升级，不然有一天，你会发现，哪怕您使用了大量的代理IP，依然预防不了大面积的封IP，爬虫工作受阻

Answer 2

在网络爬虫抓取信息的过程中，如果抓取频率高过了网站的设置阀值，将会被禁止访问。通常，网站的反爬虫机制都是依据IP来标志爬虫的。如果确认是爬虫，肯定立马封IP地址，所以需要大量的IP地址。因为大多数网站会对爬虫行为进行识别，一段被识别为爬虫则会禁止改IP地址的访问，导致爬虫爬不到信息，因此对于有爬虫限制的网站必须采取措施似的网站识别不出你的爬虫行为，轮换IP就是一种策略之一。使用拨号vps设置自动更换ip就能避免这种情况了。

Answer 3

第一：重启路由。
第二：设置自动获取IP地址。
第三：下载反P2P反查杀P2P。
第四：杀毒后重启使用计算机。
第五：用VPN上网。
第六：隐藏IP。

Answer 4

1、User-Agent伪装和轮换。
2、降低抓取频率，设置访问时间间隔。
3、使用芝麻爬虫代理。

Answer 5

被封ip的依据就是这个ip访问次数超出了网站设置的阈值，网络爬虫若要在短时间内采集到大量数据信息，需要配合使用HTTP代理IP，例如使用IPIDEA网络爬虫通常是程序化接入，使用API直接对接。
主要是为了突破IP限制，隐藏IP信息。