Question

爬虫怎么解决封IP

Answer 1

1.放慢爬取的速度。
减少对目标网站的压力，但会减少单位时间爬行量。
2.伪装cookies。
如果你能从浏览器中正常访问一个页面，你可以复制浏览器中的cookies使用。
3.伪装User-Agent。
将User-Agent设置为浏览器中的User-Agent，以伪造浏览器访问。
4.使用高匿名代理。
要突破网站的反爬虫机制，需要使用代理IP，通过更换IP的方式行多次访问。使用多线程，还需要大量的IP，并使用高匿名代理，否则会被目标网站检测到你使用了代理IP，并透露出你的真实IP，这样肯定会封IP。假如使用高匿名代理就不一样了，对方也没发现。
5.多线程采集。
收集数据时，我们都想尽快收集更多的数据，否则一个接一个地收集大量的工作太费时了。比如几秒钟收集一次，一分钟可以收集10次左右，一天可以收集1万多页。如果是小网站，但是大网站上千万的网页呢？按照这个速度收集需要很多时间。建议采集大量的数据，可以使用多线程，可以同步完成多个任务，每个线程采集不同的任务，提高采集数量。

Answer 2

做爬虫，或者采集数据过程中，遇到最多的问题不是代码bug，而是封IP。开发好一个爬虫，部署好服务器，随后开始抓取信息，不一会儿，就提示封IP了，这时候的内心是崩溃的。

那么，有什么办法不封IP呢?首先，要了解为什么会封IP，这样才可以更好地避免封IP。有些网站反爬措施比较弱，伪装下IP就可以绕过了，大部分的网站的反爬措施都在不断加强，不断升级，这给预防封IP带来更大的困难。
有人说，使用代理IP就没事了了。诚然，使用大量的优质代理IP能够 解决大部分的问题，但并非无忧无虑。我们知道，网站的反爬虫策略主要是反那些比较猖狂的爬虫，不可能反那些正常的用户。那么什么样的用户是正常的用户呢，如果将爬虫伪装成正常的用户呢，是不是就不会被封了。
首先，正常的用户访问网站频率不会太快，毕竟手速是有限，眼速也是有限的，爬虫要伪装成用户，那么抓取的频率就不能反人类，但这样一来，效率就大大降低了，怎么办?能够 使用多线程来解决。
其次，一些网站往往需要验证码来验证，对于正常用户来说，只要不是眼瞎基本都没问题，但对于爬虫来说，就需要一套较为厉害的验证码识别程序来识别了，像12306这样的验证码就较为难搞定了。随后，就是一些其他的细节了，比如，UserAgent经常换一换，cookie要清一清，访问的顺序最好不要有规律，爬取每个页面的时间没有规律等等。反爬虫策略不断升级，相应的爬虫策略也要不断升级，不然有一天，你会发现，哪怕您使用了大量的代理IP，依然预防不了大面积的封IP，爬虫工作受阻