Question

如何用Python写一个抓取url不变网页的爬虫

Answer 1

兄弟，你有去试着写过一个爬虫吗？那我来教你好了。
我点开了你给我的网址，点了你所说的《进口分贸易商明细》，看他的url并没有改变是嘛？ 0 0 我k 为什么，这么诡异，那我们用chrome 按下F12看看他到底搞了什么鬼 ，如下图：
奥，原来他这是一个内嵌页面。我们把这条url在另一个tab里面打开看看。

诶，貌似跟普通网页没什么区别了嘛？看看源代码，这些数据是不是js写进去的，貌似也不是啊，都是扎扎实实的数据在整个html里面。
那题主这些数据的采集你总会了吧。
不不不，那个翻页 url不是还没改变嘛？？？？
那你再按下F12 看看我翻页又请求了什么？？
搜嘎，原来如此，那以后只用对这个action 去post 这个data就可以实现翻页了嘛，很简单嘛。
那你怎么做就看你的咯~