Question

Python爬虫在处理由Javascript动态生成的页面时有哪些解决方案

Answer 1

动态页面的话，要看是什么人写的
一般简单的是直接去找js
例如：
火狐浏览器安装岩拿了firebug后
F12-->网络-->将其打开的网页一个一个去找
能找到你需要的js
其次还有一个运逗就是伪装post
伪装post直接获取你要的东粗悄搭西
但是这个也是局限于写js的这个人很厉害
后端也足够的厉害

Answer 2

思路一：分析Javascript代码找到请求数据
1. Chrome + F12开发者选念袜项
2. Firefox + Firebug
思路二：利用浏览器内散高雀冲早核或JS引擎执行Javascript代码
1. Selenium + PhantomJs
2. PyQt /QtWebkit
3. CasperJS
4. PyExecJS