Question

Scrapy爬取下来的数据不全，为什么总会有遗漏

Answer 1

打印每个存储的item信息，看看是不是有漏掉的连接，如果没有。在yield调用的函数里打印接收的response.url信息，看看接收的url是否正确。如果这些没有问题，加个延时看看，是不是因为爬取太快了。