Question

如何在scrapy框架下用python爬取json文件

Answer 1

#coding=utf-8
import sys
import scrapy
import urllib2
import re,requests,json
from scrapy.http import Request
reload(sys)
sys.setdefaultencoding('utf8')

class projectSpider(scrapy.Spider):
    name = "youproject"
    #allowed_domains = ["youproject.com"]
    start_urls = (
        "http://p.3.cn/prices/mgets?&type=3652063&pduid=3652063&skuIds=J_3652063",
        #京东商品获取价格的链接
    )
def parse(self,response):
    #response.url是京东价格的例子，所请求的数据就是json，其请求后的数据为：[{"id":"J_3652063","p":"1299.00","m":"1499.00","op":"1299.00"}]
    json_date = json.loads(response.body_as_unicode())
    price = json_date [0]['p'] #获取的就是price的价格
    print price # u'1299.00'

Answer 2

和爬取HTML其实一样，都是走HTTP协议的格式化文本，就content
type不一样而已，与HTML、XML不同的是，JSON是文件或者模板的的可能性都很小，绝大多数应该都是后端直接动态生成的。