Question

robots协议的介绍

Answer 1

Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。robots基本语法符号：/     、*   、$

/ 在允许和禁止的文件和文件夹前写;

*通配符，能够匹配所有的英文字符包括数字0;

$表示结束符，用于屏蔽图片时候用。具体的操作过程以及写法注意事项如图。如果不清楚可以直接关注。

Answer 2

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。