Question

Python爬虫在处理由Javascript动态生成的页面时有哪些解决方案

Answer 1

我们一直使用思路二中的方法1，也就是说用一个浏览器内容来运行JavaScript和解析动态内容，而用python模拟人在浏览器上做动作。

这个实现方案最自然，虽然有人一直在批评这样的速度比较慢，但是在实际运行环境中，大部分情况下你会担心运行得太快了，我们采集这些网站的目的往往是为了BI项目或者数据分析，会集中且持续地从同一个目标网站上抓取数据，会给这个网站造成很大压力，从而会被封锁或者遇到验证码，所以，速度问题并不是关键问题。

用一个浏览器内容去模拟人的动作，省去用Firebug甚至底层抓包工具去一点点分析每个ajax消息。要知道，现在越来越多的网站使用ajax技术，持续不断的发送xmlhttprequest请求，要是挨个抓包分析，工作量太大了。