Question

如何通过scrapy爬虫+js渲染，爬取到当请求某到网页时经所发送和收到的包

如请求https://ke.qq.com/webcourse/index.html#course_id=101465&term_id=100105503&taid=335655989251161&vid=a1400lg2xnm时，取得如下图所发送的.mp4地址。

Answer 1

打开调试工具研究ajax请求，找到规律后自己仿照着发送

关键字 headless

请参考stackoverflow上的一个提问
Headless Browser and scraping - solutions

你看到PhantomJS的出现频率，应该知道怎么选了吧。

当然，CasperJS的API比较舒服一点

追问

帮我分析一下getvinfo和getvkey中的ckey是哪里来的