Question

请简述在进行网络爬虫时为什么需要User-Agent伪装？

Answer 1

因为有些网站会进行反爬处理，如果发现并不是合规的浏览器访问，就会被阻止。