Question

在用spyder学python爬虫，发现有些网站的一些东西用审查元素查的到，但是打开源代码没有

在用spyder学python爬虫，发现有些网站的一些东西用审查元素查的到，但是打开源代码没有在用spyder学python爬虫，发现有些网站的一些东西用审查元素查的到，但是打开源代码没有，于是无法用基础方法爬到，这种信息应该怎么爬？

Answer 1

有js渲染咯，我一般处理这种情况是看post能不能解决，不能解决就用虚拟浏览器，我的教程：

无界面mechanicalsoup:http://www.cnblogs.com/TTyb/p/6039411.html
无界面RoboBrowser_test:http://www.cnblogs.com/TTyb/p/6033620.html
有界面selenium:http://www.cnblogs.com/TTyb/p/5842015.html

无界面的快，但是封装得好用吧，如果是py2就可以用mechanize玩，py3我用selenium，有界面加载慢，可以用firebox无图插件加快加载时间，具体问题具体分析，你看着搞吧

Answer 2

你这种情况，是因为浏览的是动态页面，源码是动态生成的，需要找到那个隐藏的url才能抓取。采用这种方式的网站很多，是为了快速显示相应的内容。解决方法要么找到可以显示内容的隐藏url，要么采用python的插件，将全部的内容显示出来后，读取源码，再抓取。

Answer 3

额