Question

phantomjs 怎么抓取js动态加载数据

Answer 1

　　
　　phantomjs 抓取js动态加载数据的方法：
　　
　　phantomjs因为是无头浏览器可以跑js，用来进行网页抓取是再好不过了。

　　比如我们要批量抓取网页 “历史上的今天” 的内容。
　　第一行将会在终端打印出字符串，第二行 phantom.exit 将退出运行。
在该脚本中调用 phantom.exit 是非常重要的，否则 PhantomJS 将根本不会停 止。 pyspider 连上 PhantomJS 代理后，你就能通过在 self.crawl 添加 fetch_type='js' 的参数，开启使用 PhantomJS 抓取。