请教一个问题,怎么提高 python 爬虫的爬取效率 我来答 1个回答 #热议# 什么是淋病?哪些行为会感染淋病? 从空去听8 2017-08-09 · TA获得超过7441个赞 知道大有可为答主 回答量:6907 采纳率:93% 帮助的人:5609万 我也去答题访问个人页 关注 展开全部 考虑用多进程+分布在不同机房的集群。理由如下:如果单进程,则瓶颈多出在CPU上。多进程的话可以高效利用CPU。但是其实多数情况是在网络,所以说更好的解决办法是用多个机房的多台机器同时跑多进程的爬虫,这样减少网络阻塞。实现的话,用scrapy+rq-queue然后用redis来作队列就好。用这个方法爬过douban的几千万个页面 本回答由提问者推荐 已赞过 已踩过< 你对这个回答的评价是? 评论 收起 推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询 其他类似问题 2022-08-25 网上Python爬虫教程这么多,但是做爬虫的这么少呢? 2023-05-18 如何应对网站反爬虫策略?如何高效地爬大量数据 2018-10-15 Python中怎么用爬虫爬 2020-11-05 优化Python爬虫速度的方法有哪些 2018-01-19 Python爬虫数据应该怎么处理 2020-09-06 如何提高爬虫效率 2020-10-13 如何提高爬虫效率 2017-08-25 如何优化 Python 爬虫的速度 更多类似问题 > 为你推荐: