Question

scrapy遇到javascript的翻页怎么处理

Answer 1

有些页面通过诸如js的writeline生成，数据都是来自后台，在前台的“查看源代码”中无法看到。 像这些页面如果直接抓取，是行不通的。 通过在sf上查找，发现需要加scrapy的中间件，在分析之前，先要把js的内容解析出来。