Question

python爬取网页信息，怎么获取到网页的真实URL？？

我要爬取的网页
输入地址栏的URl会进入一个简洁页面，必须点击页面的一个 ‘’详细信息‘’，
才会加载所有信息，，
我点击加载所有信息以后
这个XHR里面找到的有用数据，
这里面的Request URL不可以访问，，出错，

我爬取其他网页都可以用这个Request URL的，
这个网站做了什么限制吗？

Answer 1

首先要知道这个url是用get还是post方法，然后看看请求头或者url有没有携带什么会产生变化的数据，你单独请求ajax页面的时候是要带上这些数据的。

Answer 2

你总不能指望我用说那两句话把python爬虫代码爬取信息的过程给说完吧。
python这门语言在爬虫方面的优势是简单，有强大的库，而且属于胶水语言。
至于如何获取自己想要的信息，等你会写一些爬虫代码的时候就知道了。

Answer 3

网页url可以通过获取到html源码后正则表达式提取url。