Question

用Java写一个能爬行Javascript动态链接的网页的内容?

因项目需要用Java写一个能爬行Javascript动态链接的网页的内容，不知道怎么实现，哪位朋友知道？加分！！！！

Answer 1

Googlebot也就是Google的标准蜘蛛，是不支持Javascript的，目前所有主流搜索引擎厂商的爬虫都是不支持Ajax/Javascript的。这并不是因为技术上有什么无法逾越的障碍。实际上现在有众多优秀的开源Javascript解析引擎，如Google Chrome的内置Javascript解析引擎V8，以及Firefox内置的SpiderMonkey和TraceMonkey等等。爬虫的HTML解析器上加上这些Javascript解析就可以轻易的实现对Ajax/Javascript内容的解析了。但是，这么做会加大解析器负担，而且这么做的实际意义还有待研究。

据说百度的爬虫支持一部分Javascript，但可能主要限于文本内容和链接发掘，从而实现更广泛的发现内容的任务。

Answer 2

java？？？ 太难！
得写IE插件，hook 浏览器api！！！ 恐怕目前只有这个办法了

Answer 3

用httpunit 可以获得对方网站页面的全部内容，获得以后 你自己找找规律。应该不是很难。

Answer 4

网络蜘蛛？关注中……