如何抓取js动态生成的网页

 我来答
百度网友e096309
2016-11-09 · TA获得超过1327个赞
知道小有建树答主
回答量:501
采纳率:96%
帮助的人:413万
展开全部
可以考虑用phantonjs或者它的衍生物casperjs以及spookyjs。phontonjs是个无界面的浏览器,通过js代码来控制浏览器的浏览行为。casper在它上面封装了很多好用的API,很方便的实现点击、等待某元素出现等动作。spookyjs则是相当于nodejs版的casperjs,有了nodejs支持,你就很容易把抓到的内容写文件、数据等。
育知同创教育
2017-04-12 · 百度知道合伙人官方认证企业
育知同创教育
1【专注:Python+人工智能|Java大数据|HTML5培训】 2【免费提供名师直播课堂、公开课及视频教程】 3【地址:北京市昌平区三旗百汇物美大卖场2层,微信公众号:yuzhitc】
向TA提问
展开全部
很多网站是用js或Jquery 生成数据的,到后台获取到数据以后,用 document.write()或者("#id").html="" 的方式 写到页面中,这个时候用浏览器查看源码是看不到数据的。
所以直接调用js调用的url再发送请求吧。HttpClient是绝对不可能的,所以还是直接写代码调用。
本回答被网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
DoramiHe
2017-05-25 · 知道合伙人互联网行家
DoramiHe
知道合伙人互联网行家
采纳数:25332 获赞数:59541
2011年中山职业技术学院毕业,现担任毅衣公司京东小二

向TA提问 私信TA
展开全部
js一般是通过ajax来获取列表,你可以找到ajax中的GET地址或者POST地址,来取得分页内容。
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 更多回答(1)
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式