Python 写的爬虫爬久了就假死怎么回事
1个回答
展开全部
socket中添加一个超时 应该就能解决了：
import socket
socket.setdefaulttimeout(timeout)
建议看一下gevent，可以应用到爬虫中，gevent可以将系统socke全部patch成非阻塞的
你可以同时维持N个连接，这样速度也会提高很多
import socket
socket.setdefaulttimeout(timeout)
建议看一下gevent，可以应用到爬虫中，gevent可以将系统socke全部patch成非阻塞的
你可以同时维持N个连接，这样速度也会提高很多
本回答由网友推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
