Question

优化Python爬虫速度的方法有哪些

Answer 1

很多爬虫工作者都遇到过抓取非常慢的问题，尤其是需要采集大量数据的情况下。那么如何提高爬虫采集效率就十分关键，那一块了解如何提高爬虫采集效率问题。
1.尽可能减少网站访问次数
单次爬虫的主要把时间消耗在网络请求等待响应上面，所以能减少网站访问就减少网站访问，既减少自身的工作量，也减轻网站的压力，还降低被封的风险。
第一步要做的就是流程优化，尽量精简流程，避免在多个页面重复获取。
随后去重，同样是十分重要的手段，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。
2.分布式爬虫
即便把各种法子都用尽了，单机单位时间内能爬的网页数仍是有限的，面对大量的网页页面队列，可计算的时间仍是很长，这种情况下就必须要用机器换时间了，这就是分布式爬虫。
第一步，分布式并不是爬虫的本质，也并不是必须的，对于互相独立、不存在通信的任务就可手动对任务分割，随后在多个机器上各自执行，减少每台机器的工作量，费时就会成倍减少。
例如有200W个网页页面待爬，可以用5台机器各自爬互不重复的40W个网页页面，相对来说单机费时就缩短了5倍。
可是如果存在着需要通信的状况，例如一个变动的待爬队列，每爬一次这个队列就会发生变化，即便分割任务也就有交叉重复，因为各个机器在程序运行时的待爬队列都不一样了——这种情况下只能用分布式，一个Master存储队列，其他多个Slave各自来取，这样共享一个队列，取的情况下互斥也不会重复爬取。IPIDEA提供高匿稳定的IP同时更注重用户隐私的保护，保障用户的信息安全。含有240＋国家地区的ip，支持API批量使用，支持多线程高并发使用。

Answer 2

1、数据抓取和数据处理分离，使用多线程或多进程将两个任务分开处理，避免互相影响
2、使用多线程在不被封锁的情况下尽量多的抓取网页，视数据量决定抓取的内容存放在内存中或硬盘中
3、使用流水线思维加多线程实现页面处理流水线化，将爬虫逻辑分为数据抓取、数据预处理，数据处理，数据保存几个步骤，步骤之间相互并行
4、有一个经常被忽视的地方需要注意，如果数据抓取速度过快，那么爬虫的瓶颈往往在cpu上，而cpu主要消耗在对html的解析上，必要时需要自己实现一个基于字符串查找的html解析器，可以消除这一瓶颈。

Answer 3

考虑用多进程+分布在不同机房的集群。
理由如下：
如果单进程，则瓶颈多出在CPU上。
多进程的话可以高效利用CPU。但是其实多数情况是在网络，所以说更好的解决办法是用多个机房的多台机器同时跑多进程的爬虫，这样减少网络阻塞。
实现的话，用scrapy+rq-queue然后用redis来作队列就好。