如何提高 python requests 抓取页面一级二级链接的效率
2个回答
展开全部
用这个gevent
GitHub - gevent/gevent: Coroutine-based concurrency library for Python
速度与网速、对方服务器响应时间等有关系啊，不要太狠，被禁止采集了。
GitHub - gevent/gevent: Coroutine-based concurrency library for Python
速度与网速、对方服务器响应时间等有关系啊，不要太狠，被禁止采集了。
本回答由提问者推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
协程（就是楼上说的gevent）加 多进程
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
