Question

网页上通过ajax异步加载的数据有什么办法抓取到吗？

Answer 1

1、可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到。

2、使用抓包类的工具，如SmartSniff，经过分析也可以得到数据也可以得到数据

Answer 2

很多方案：selenium，phantomjs，casperjs，qtwebkit等。
一般采用的是casperjs。把每个ajax请求完成后保存网页，放入队列，这样的话后面的分析程序就只要分析html就好了。
casperjs这货和nodejs一起使用的时候时不时会有点小问题，如果不想麻烦，npm安装spookyjs，可以把casperjs作为node的模块来使用了。
当然，请求不复杂，无需验证的话，直接观察请求就可以了。