Question

如何防止scrapy爬虫被禁止

Answer 1

现在大数据是个超火的行业，对于从事互联行业网的小伙伴们来讲，HTTP代理ip并不是一个陌生的存在，如果你正好是做技术敲代码的专业人才，尤其是要负责网络爬虫的相关工作，那么每天跟你打交道比较多的便是HTTP代理ip了。

用简单一点的话说，HTTP代理ip便是你日常工作必不可少的存在。由于你是需要大量数据采集的，很多网站都是限制了ip的访问次数的，如果你本地的IP地址访问受到了限制，那么此刻你就需要换一个通行证来顺利通行，这个通行证便是HTTP代理ip。

大家都知道，网络爬虫能够有自己的发展空间便是因为用爬虫程序抓取网页信息便捷、高效、迅速，但是同时也要小心IP地址受限制。很简单的一个道理，例如我们自己现在有一个网站，有些人专门用恶意程序爬虫抓取我们自己的数据，因此 为了能够保护自己的网站，宁可错杀一千也绝不放过一个，服务器的承载力总归是有限的，如果有程序一直超负荷抓取服务器信息，服务器很容易就崩溃了。因此现在很多互联网网站，为了保护自己网站的安全，都会设置防爬机制，拒绝网络爬虫。

这个时候如果还想继续访问这个网站，HTTP代理ip就很重要，如果当前的ip地址受限制，可以换一个新的ip地址，保证爬虫的顺利进行。

Answer 2

工作原因接触过 .net,node.js,Python,go爬虫 ,Python 的scrapy 框架（618爬虫代理）基本上是无敌的

Answer 3

最暴力的方式就爬一下就换ip地址！
最简单的方式就是模拟人工用浏览器访问网站的方式，慢，再慢点！