如何采集javascript 生成的网页
2018-06-27 · 百度知道合伙人官方认证企业
育知同创教育
1【专注：Python+人工智能|Java大数据|HTML5培训】 2【免费提供名师直播课堂、公开课及视频教程】 3【地址：北京市昌平区三旗百汇物美大卖场2层，微信公众号：yuzhitc】
向TA提问
关注
![]()
展开全部
爬虫是不能获取JS执行的代码的，所有的爬虫也都不会获取这些代码，这就是Ajax不利至Seo的地方。
如你想获取只有单独请求Ajax返回结果，因为Http本身是不会执行js的，执行JS的浏览器。你就是等上10年也不会有结果的，你说的过10秒之后的网页内容。那是在浏览器里可以看到。Http里是只有Html源代码的。不会有JS执行。
或者可以使用 webBrowser
如你想获取只有单独请求Ajax返回结果，因为Http本身是不会执行js的，执行JS的浏览器。你就是等上10年也不会有结果的，你说的过10秒之后的网页内容。那是在浏览器里可以看到。Http里是只有Html源代码的。不会有JS执行。
或者可以使用 webBrowser
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
phantomjs和casperjs
Casperjs是基于Phantomjs的，而Phantom JS是一个服务器端的 JavaScript API 的 WebKit
可以做到采集javascript 生成的网页
当然你也可以去分析js然后直接通过接口获取网页的数据。
Casperjs是基于Phantomjs的，而Phantom JS是一个服务器端的 JavaScript API 的 WebKit
可以做到采集javascript 生成的网页
当然你也可以去分析js然后直接通过接口获取网页的数据。
本回答被提问者和网友采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
2018-06-27 · 做真实的自己 用良心做教育
千锋教育
千锋教育专注HTML5大前端、JavaEE、Python、人工智能、UI＆UE、云计算、全栈软件测试、大数据、物联网+嵌入式、Unity游戏开发、网络安全、互联网营销、Go语言等培训教育。
向TA提问
关注
![]()
展开全部
是要下载页面还是通过程序批量抓取。
js本身是不行的，无论什么生成的页面 js都不能采集，就只能通过后台的语言抓取。要下载页面还是直接用浏览器比较方便。
js本身是不行的，无论什么生成的页面 js都不能采集，就只能通过后台的语言抓取。要下载页面还是直接用浏览器比较方便。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
store 在ext里叫数据存储器，你上面写的太繁复，ext提供高级store 首先你要弄清楚这个过程： store 的load函数会触发数据存储器根据httpProxy设定的url去请求数据，请求回来的数据，要用数据读取器Reader对象
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
更多回答（2）
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
