Question

请教http请求头中user-agent-CSDN论坛

Answer 1

HTTP请求头的User-Agent最好是使用常用的浏览器的User-Agent值，比如Firefox、IE、chrome等浏览器，因为有些网站会过滤User-Agent，目的是限制部分“机器人”程序访问网站。比如我以前用Python编写过一个爬虫程序，但是偏偏对一个网站总是出错，也找不到原因，后来发现是那个网站过滤User-Agent，我的程序使用的是Python的User-Agent默认值，而换成Firefox浏览器的User-Agent字符串，访问就正常了。