基于python的scrapy爬虫，关于增量爬取是怎么处理的
1个回答
展开全部
解决方法是，先将列表按照时间排序后再抓取，每次抓取完记录最后一条的url，下载再抓取时，遇到这个url，抓取就自动退出。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
类别
我们会通过消息、邮箱等方式尽快将举报结果通知您。
说明
0/200
