scrapy怎么循环生成要爬取的页面url
2个回答
2018-08-01
深圳中宇视通科技有限公司
深圳中宇视通科技有限公司，专业生产液晶拼接屏，监视器，广告机，查询机，触摸一体机，微信打印广告机，户外定制广告机，定制显示端产品，欢迎来公司考察指导，期待跟您的合作！
向TA提问
关注
![]()
展开全部
对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。 item['Url'] = response.url 然后在数据端把储存url的column设置成unique。 之后在python代码中捕获数据库commit时返回的异常
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能，直接在item中增加Url字段。 item['Url'] = response.url 然后在数据端把储存url的column设置成unique。 之后在python代码中捕获数据库commit时返回的异常
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
