scrapy redis中在爬取分页网站怎么重启爬虫之后在下一页继续爬
2017-09-24
展开全部
用爬虫跟踪下一页的方法是自己模拟点击下一页连接,然后发出新的请求;参考例子如下:item1=Item()yielditem1item2=Item()yielditem2req=Request(url='下一页的链接',callback=self.parse)yieldreq注意:使用yield时不要用ret
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询