Question

新建的网站，这个robots是什么意思？

各位计算机大神，本人新建的一个网站，负责建站的在robots方面显示以下内容，不太明白是什么意思，网站上线快一个月了，百度和搜狗抓取基本就一个首页，会和这个有问题吗？

Answer 1

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots
Exclusion
Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

原则