为什么爬虫使用不同的user-agent返回的页面不一样
如图，就拿百度首页为例，第一个是更改user-agent为Mozilla/5.0后返回的结果，第二个是user-agent为默认的python/request时返回的结果...
如图，就拿百度首页为例，第一个是更改user-agent为 Mozilla/5.0 后返回的结果，第二个是user-agent为默认的python/request时返回的结果
展开
1个回答
展开全部
不同的网站返回的不一样的 有些是做响应式界面不同的UA可能返回结果一样也可能内容一样网页样式变了下 有些网站是PC和WEP等分开的 通过你的UA来判断你是用电脑还是用手机访问的 返回的自然是不同的内容
本回答由网友推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
