Question

基于python的scrapy爬虫，关于增量爬取是怎么处理的

Answer 1

　　对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。
　　item['Url'] = response.url

　　然后在数据端把储存url的column设置成unique。
　　之后在python代码中捕获数据库commit时返回的异常，忽略掉或者转入log中都可以。
　　网上有说支持增量的，我看了代码+实际测试，还是觉得不是增量的...

　　我的做法是pipeline的open_spider时读取所有item里面的url，做成一个parsed_urls的list，在rule的process_link中过滤掉这些已经下载的url，如果需要的话可以再item里面加入last_notify属性进一步扩展...