Question

为什么我用python爬京东的网页爬下来的是空标签

在网页里面查看源代码看到的是
<strong class="p-price" id="jd-price">￥599.00</strong>
然后我爬下来的是
<strong class="p-price" id="jd-price"></strong>
这不科学啊，求解释为什么呢
我爬的方法是看一本书上的：
opener = urllib2.build_opener(urllib2.HTTPRedirectHandler(),urllib2.HTTPHandler(debuglevel=0))
opener.addheaders = [('User-agent',"Mozilla/4.0(Compatible;MSIE 7.0;)"
"Windows NT 5.1; .NET CLR 2.0.50727; "
".NET CLR 3.0.4506.2152; .NET CLR 3.5.30729")]
response = opener.open(url)
好像京东的价格是通过一个js函数拿到的，所以一开始是个空的，如果是这样的话，要怎么爬下来呢？

Answer 1

现在几乎所有的大网站都在主要的栏目 做了防爬行的处理。 象这样的还算是简单的。 大不了你分析一下JS。 如果不想分析JS。就麻烦 些。

你安装一个pyqt，里面有一个qtbrowser， 你可以驱动这个浏览器去爬行。要几百行代码才能搞定。

用浏览器打开这个网站，然后通过浏览器的一个功能，获得渲染后的HTML网页。这样就解决 JS的问题了。 不过爬行速度很受限制。因为浏览器打开一个网页的速度很慢 。

Answer 2

只能去分析js里面是怎么获取这些值的

Answer 3

问题让人看起来好解啊晕