Question

请问如何用VB编写抓取动态网页信息的程序？？

我可以熟练编写抓取静态网页的内容；
但依然不知道该如何抓取动态网页内容，希望得到专家指点；
我想用Winsock控件，实现动态网页内容的抓取，请问是否可行？？（用WebBrowser控件似乎无法实现动态网页信息的抓取）；
以下是抓取流程的初步思路，有啥不对的地方，请指点指点：

1、通过HTTP请求，获取需要抓取的页面
2、分析页面元素信息，形成DOM树，对DOM树进行遍历，提取出JS脚本代码；
3、由JS解析模块执行上一模块中得到的JS脚本代码，获取从服务器返回的请求内容；
4、提取URL模块，利用上一模块的结果，重新组合生成新的页面内容，提取页面中的URL和文本内容

Answer 1

你告兄察说的动态网页是指ajax吗？如果是这样的话，恐怕只能用WebBrowser控件了。当然，如果你袜茄能找到单独尘哗的JS解释引擎更好。

追问

还是没搞懂
单独的JS解释引擎是什么？

WebBrowser控件可以抓取静态网页，这个我已经实现了，但好像无法抓取动态网页吧？

总之我现在还是一头雾水，还没找到北

追答

就是执行JS脚本的东西。
WebBrowser用的东西就是IE浏览器用的东西，两者的核心部件是一样的。所以说你用IE可以看到的内容用WebBrowser就可以看到。

WebBrowser中看到的一切内容的源代码都是可以通过VB访问到的。

你说的动态网页能贴一下网址吗？

追问

你打“球探比分”这4个汉字，百度一下，搜索结果第一条，就是这个动态网页，我的任务是用VB编个抓取比分的程序，用WebBrowser似乎只能抓到静态网页，直接查看这个网页源代码，里面找不到比分数据

（百度不允许粘贴网址，只能搜索一下了）

追答

你右键查看到的源代码是“网页文件”的源代码，而不是经过浏览器翻译后的最终代码。如果你的IE版本比较高，你在IE浏览器中按一下F12，会看到最终代码。这才是你需要的，WebBrowser也可以看到这些内容。

我可以百分之百肯定：
WebBrowser能抓到任何网页的内容，包括你说的动态网页。

你复制粘贴下面一行内容搜索一下，就能找到你需要的内容了。
vb webbrowser html

追问

多谢，在网络编程方面，我是新手，对这些内容，得先下去仔细研究一下

追答

不客气，你仔细研究一下WebBrowser，肯定可以的。祝你成功。