请教一个问题,怎么提高 python 爬虫的爬取效率

 我来答
从空去听8
2017-08-09 · TA获得超过7441个赞
知道大有可为答主
回答量:6907
采纳率:93%
帮助的人:5609万
展开全部
考虑用多进程+分布在不同机房的集群。
理由如下:
如果单进程,则瓶颈多出在CPU上。
多进程的话可以高效利用CPU。但是其实多数情况是在网络,所以说更好的解决办法是用多个机房的多台机器同时跑多进程的爬虫,这样减少网络阻塞。
实现的话,用scrapy+rq-queue然后用redis来作队列就好。
用这个方法爬过douban的几千万个页面
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式