Question

python爬虫怎么获取下一页的url

Answer 1

用python写了个爬虫，获取下一页的时候发现下一页用的js，这种个情况怎么获得下一页的url/*~~~~~~~~~~~~~~~~~~~~~~~~~~分割线~~~~~~~~~~~~~~~~~~~~~~~*/
找到了个方法，用spynner模拟浏览器点击

用浏览器调试工具，如firebug，查看点击下一页时的http请求，再用python模拟就行了。

Answer 2

用浏览器调试工具，如firebug
查看点击下一页时的http请求，再用python模拟就行了。