Question

scrapy怎么让爬虫一直循环抓取不停

Answer 1

通过重写爬虫的调度器,默认的调度器是：
scrapy.core.scheduler.Scheduler
所有的请求都会进入调度器的queue队列中，如果想让爬虫不间断爬取，就想办法让这个queue不要为空

Answer 2

rapy.selector import Selector
from ahutNews.items import AhutnewsItem
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor

class AhutNewsSpider(Spider):
name = 'ahutnews'

Answer 3

给它足够多的URL 它就能一直爬下去