如何用scrapy获取div标签下<p>标签中的所有内容

如图。用scrapy获取div标签下<p>标签中的所有的文章正文内容(图片除外),使用xpath。item['content']=sel.xpath('//div[@cl... 如图。用scrapy获取div标签下<p>标签中的所有的文章正文内容(图片除外),使用xpath。 item['content']=sel.xpath('//div[@class="document"]//p//text()').extract()这样只能获取到div下第一个<p></p>中的内容,即“春节回家过年,用什么....朋友亲人分享照片”,不能获取所有的正文在此求教了 展开
 我来答
百度网友f0f9883
2016-05-13 · TA获得超过317个赞
知道小有建树答主
回答量:258
采纳率:100%
帮助的人:157万
展开全部

xpath 如果返回的是多个元素的话,比如你这里就是多个<p> 那就要用到循环 

content=""

for selector  in sel.xpath('//div[@class="document"]//p'):
    content=content+ selector.xpath("/text()").extract()
追问

    非常感谢您!我改成图片这样

报错:content=content+ selector.xpath("/text()").extract()

            TypeError: cannot concatenate 'str' and 'list' objects

刚开始学python,不太会写,请问这要怎么改呢

推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式