Question

如何爬取js加载后的页面显示内容

Answer 1

1. 分析ajax数据
2. 提取抓取的js数据, 然后使用Rhino js引擎执行js并且获取提取结果. (速度还是有些影响的)

Answer 2

爬虫一般都是基于文本的分析擅长，js的解析属于浏览器的功能，所以技术上，要考虑分而治之。

一些比较常用的做法，是先对web页面进行一次预处理，然后继续用爬虫处理。

预处理技术，比较常用的是PhantomJS、selenium等。这些技术中间件，可以嵌入c#，也可以独立成server。