如何在scrapy框架下用python爬取json文件

 我来答
潭州教育
2017-04-26 · 上网学习,就来潭州!
潭州教育
潭州教育总部坐落于美丽的星城长沙,位于麓谷芯城科技园拥有两座办公大厦。办公面积4万多平方;6000多名师资教学力量。200多门课程;在线学习学员高达1100万名学员,30万VIP学员。
向TA提问
展开全部
  1. import json
    str = str[(str.find('(')+1):str.rfind(')')] #去掉首尾的圆括号前后部分
    dict = json.loads(str)
    comments = dict['comments']
    #然后for一下就行了
  2. 如果是scrapy 看下面代码

    def parse(self, response):
             jsonresponse = json.loads(response.body_as_unicode())

             item = MyItem()
             item["firstName"] = jsonresponse["firstName"]             

             return item
  3. callback= 对应的就是返回内容开头那个函数名字。前后截去函数名和括号就是 JSON 了。

推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式