Question

百度爬虫是什么意思？

Answer 1

百度是搜索引擎，爬虫就是沿着网站的链接不断搜索，并下载到本地的机器人程序。 搜索引擎在一定程度上会给网站造成负担。 所以现在有很多网站都有反爬虫设置，把自己想要被搜索出的东西直接提供给爬虫，而不让爬虫去抢占带宽。