Question

基于python的scrapy爬虫，关于增量爬取是怎么处理的

Answer 1

我也遇到了这个问题，我的解决方法是，先将列表按照时间排序后再抓取，每次抓取完记录最后一条的url，下载再抓取时，遇到这个url，抓取就自动退出。
如果解决了您的问题请采纳！
如果未解决请继续追问！

Answer 2

比较困难。通常是将已爬行好的内容存在某个位置。然后再去检查是否被爬行。

有一种简单的办法是将所有URL放在一个REDIS服务器上。 不过redis中项目数量不能太多，太多了内存与效率都低。

另外一种做法是存到搜索引擎里。

还有一种办法是你自己做一个btree，专门用于存贮URL。这样可能速度更快。btree放在分布式的文件系统上。

nutch是用hadoop的sequence file来存贮的。效率低，但是可行。