Question

Python scrapy框架的response问题

我scrapy shell 知乎一个问答页，并加上user_agent，shell成功。但是返回的response没有js字符串数据(可能是异步加载的吧)，而网页源代码里面有，请问这是什么原因，怎么解决。

Answer 1

scrapy不会爬去引用资源，像JavaScript, 还有现在是都需要单独提交请求。如果你想抛弃这两种类型的话，需要单独把它加到全世界了解你，或者说你用微信浏览器模拟，获取整个页面数据，我再去分析具体你想要的数据。