Question

如何抓取js动态生成的网页

Answer 1

可以考虑用phantonjs或者它的衍生物casperjs以及spookyjs。phontonjs是个无界面的浏览器，通过js代码来控制浏览器的浏览行为。casper在它上面封装了很多好用的API，很方便的实现点击、等待某元素出现等动作。spookyjs则是相当于nodejs版的casperjs，有了nodejs支持，你就很容易把抓到的内容写文件、数据等。

Answer 2

很多网站是用js或Jquery 生成数据的，到后台获取到数据以后，用 document.write()或者("#id").html="" 的方式 写到页面中，这个时候用浏览器查看源码是看不到数据的。
所以直接调用js调用的url再发送请求吧。HttpClient是绝对不可能的，所以还是直接写代码调用。

Answer 3

js一般是通过ajax来获取列表，你可以找到ajax中的GET地址或者POST地址，来取得分页内容。