Question

python 爬虫为什么我更换不同的请求头（User-Agent） 就找不到我想要的内容了？？

我目标是下载两组图片，我一共准备了两组UA0, UA1， 两次请求都返回了正确的html,我打印了确实都返回了，然后正则表达式找图片。我分别独立测试的时候两边都成功的拿到图片。 但是如果我用一个UA同时去请求，那么就只能得到一组图片，其中一个就是空的，为什么呀？
UA0请求的，只能得到第0组图片。UA1请求的，只能得到第1组。。。不能同时从一个html里得到两组，只能分别用UA0 UA1 request 但是这样太耗时了，真的不知道为什么要疯了.....

Answer 1

python爬虫爬取网站内容时，如果什么也没带，即不带报头headers，往往会被网站管理维护人员认定为机器爬虫。因为，此时python默认的user-agent如Python-urllib/2.1一样。因此，网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以，此时往往就需要伪装user-agent，模拟成真实的浏览器去取出内容。