用scrapy实现爬虫时，每个爬虫文件只能对应一个pipeline文件吗
1个回答
展开全部
Pipeline基本上都是你自己写的。能不能适用多个爬虫就看你怎么写的了。
很明确的告诉你，Pipeline可以适用多个爬虫。Scrapy自身提供了下载文件的管道，FilesPipeline、 ImagesPipeline便是很好的例子。http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/images.html#id2
一个爬虫也可以使用多个Pipeline。
这个要在settings的ITEM_PIPELINES字典中添加就可以生效。怎么做官方文档都有，就不具体说了。http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/item-pipeline.html#id4
很明确的告诉你，Pipeline可以适用多个爬虫。Scrapy自身提供了下载文件的管道，FilesPipeline、 ImagesPipeline便是很好的例子。http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/images.html#id2
一个爬虫也可以使用多个Pipeline。
这个要在settings的ITEM_PIPELINES字典中添加就可以生效。怎么做官方文档都有，就不具体说了。http://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/item-pipeline.html#id4
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
