Question

python如何用urllib抓取网页中表格的第二及后续页面

写了如下一个函数来获取网页中的数据，但是由于网页正文中的表格不管是第几页，URL都是统一的，所以每次请求得到的都是表格的第一页，想请教下html请求时是怎样通知server端想获取的表格页数的，对应到下面的python函数中该如何修改才能访问到指定页面的内容呢？

import urllib.request

index_url = 'http://vol.stock.hexun.com/Stock/RankDetail.aspx?titType=4&stateType=down'

def get_video_page_urls():
req = urllib.request.urlopen(index_url)
page = req.read()
return page

Answer 1

手边没现成代码，就不贴了，告诉你思路：

虽然url里看着地址都一样，其实是不一样的，需要F12分析后台代码；

然后有两种方式，

1. 就是F12分析代码后爬取真实地址；
   

2. 用py模拟敲击“下一页”。

具体代码都不麻烦，度娘很好找。