Question

Java_爬虫，如何抓取Js动态生成数据的页面？

很多网站是用js或Jquery 生成数据的，到后台获取到数据以后，用 document.write()或者("#id").html="" 的方式 写到页面中，这个时候用浏览器查看源码是看不到数据的。

HttpClient是不行的，看网上说HtmlUnit，说 可以获取后台js加载完后的完整页面，但是我按照文章上说的 写了 ，都不好使。

求解答，其中典型的就是这个链接的页面，怎么能在java程序中获取其中的数据？

http://xinjinqiao.tprtc.com/admin/main/flrpro.do

Answer 1

用nodejs+puppeteer，解析dom结构获取，或者直接观察返回数据的接口，看能不能直接调用

Answer 2

HttpClient
怎么不行，都是请求，搞清楚地址，就有参数，都是一次访问，能抓到肯定行

追问

HttpClient得到的是没有数据的页面，数据是js加载的