Question

c# 网页数据抓取 ajax

抓取网站
http://finance.sina.com.cn/realstock/company/sz000001/nc.shtml
当中右侧五档盘口数据，source里面看不到数据，查了一下因为用的是ajax异步请求获取的数据。
怎么得到数据？尽量详细一点，谢谢。

Answer 1

1. 用 Google Chrome、360急速等 chrome 内核的浏览器

2. 打开网页

3. 按 F12 打开 调试模式 
   

4. 

   点击 进入 Network 标签

5. 刷新网页

6. Network里就会出现很多 和 服务器的交互，ajax交互都会出现在里面

7. 是这个么？
   

8. 

追问

用的是360急速模式，F12，NetWork，里面找不到CN_TransList...只有很多刷新的"rn=..."开头的js。是我的设置要改吗？
还有我要用c#的HttpRequest模拟提交，Headers的Request url最后会有一串很长的数字，我要模拟的话，这个怎么输入？

追答

很多network很多条目的，先 点clear 清空数据，再刷新网页

很多，上百条了吧。

先把右边的 滚动条 拉到最上面，然后慢慢翻吧，第三四十条的样子（没有序号，我也数不清）。

直接打开接口网址也可以哦~

http://vip.stock.finance.sina.com.cn/quotes_service/view/CN_TransListV2.php?num=9&symbol=sz000001&rn=1395646938249

C#的HttpRequest？不熟。不过js我知道一些，request 的时候可以提供 PostData 之类的键值对参数集作为参数，再提交的。

url = fanyi.baidu.com;

postdata = ["from" : "zh", "to" : "en", "q" : "中国"];

data = request(url, postdata);

乱七八糟的这样的。

Answer 2

ajax加载的数据其实从源码里面是看不到的，源码里面都是脚本，目前支持ajax的采集软件就只有免费的八爪鱼采集器。可以自动识别并应对ajax，这个是从可视化层面提取的，也就是说不管是什么技术加载，八爪鱼采集器是通过网页展示后提取的，也就是你能看到的数据用鼠标点一下选择提取就可以。具体的你自己试试，八爪鱼采集器网站上也有专门的文章讲ajax的。

Answer 3

我感觉弄不到数据，因为Ajax 是异步通信技术，换句话说，就是不刷新网页请求数据技术。数据可以用html业不用服务业就可以实现。。我也想知道怎么弄，