Question

爬虫爬取网站的时候，怎么判断Request URL后面的参数是否有用

爬虫爬取网站的时候，发现Request URL后面的参数特别多，感觉有些参数没必要，怎么判断哪些参数是必须的呢。

Answer 1

用Request时对于大部分的页面来说只需要两个参数，一个是url也就是请求的网址，另外一个就是headers，而headers中最重要的就是user-agent，其他的参数都没有这两个参数重要。所以你可以只留下这两个参数再去请求页面，如果请求不下来再去尝试添加其他参数。