Question

什么样的IP代理可以用来做爬虫采集

Answer 1

在爬虫爬取网站时，经常会遇到IP被封禁的问题，为了解决这一问题，很多个人与企业都会需要使用IP代理。那么，什么样的代理IP可以用来爬虫采集呢？应当具备以下条件：
1、IP池大。
都知道网络爬虫用户和补量业务用户，都对IP数量有极大需求，每天需要获取到几百万不重复的IP，倘若是重复IP的话，像补量用户，算上重复的，一天要提取上千万的IP。要是IP池不够大的话，就没法满足业务，或是因为重复提取，会造成IP被封。
2、稳定性。
对企业用户而言，时间就是金钱，如果连接不稳定，经常掉线，不论这家代理商多么的便宜你都应该不会去购买的。
3、高并发。
这个就不用多做解释了，对IP需求量大的不存在单线程操作的。
4、覆盖城市全。
不论是网络爬虫业务，还是补量用户，很多业务对地域性都有要求，因此需要IP能够覆盖大部分城市，且每个城市都有一定的量。
5、高匿性。
这个算是基本要求了，付费的代理IP如果不是高匿名的就太不值了。
6、真实IP。
真实IP的有效率，业务成功率都是遥遥领先的。

Answer 2

1.IP池要大
众所周知，爬虫采集需要大量的IP，有的时候会每天需要几百万上千万的调用，如果IP数量不够，那爬虫的工作也无法进行下去。所以大规模业务所使用的爬虫一般要找实测至少百万以上的IP，才能确保业务不受影响。
2.并发要高
爬虫采集一般都是多线程进行的，需要短期内内获取海量的IP，如果并发不够，会大大降低爬虫采集的数据。一般需要单次调用200，间隔一秒，而有些IP池，一次只能调用10个IP，间隔还要5秒以上，这样的资源就不适合拿来开展业务，一般只适合爬虫初学者练习使用。
3.可用率要高
大部分业务对于IP可用率的需求都很高，因为许多通过扫描公网IP得来的资源，有可能上千万的IP实际可用率不到5%，这样来看能用的IP就非常有限了，而且还会浪费大量的时间去验证IP的可用性。而例如IPIDEA这种优秀的爬虫http代理池的IP，一般可用率都会保持在90%以上。
4.IP资源最好独享
独享IP能直接影响IP的可用率，独享http代理能确保每个IP同时只有一个用户在使用，能确保IP的可用率、稳定性。
5.调用方便
对于爬虫工作者而言，调用API也是一个较为繁琐的过程，而部分较为优质的代理服务商往往有着丰富的API接口，方便集成到任何程序里，以便爬虫使用。