Question

robots协议怎么书写？

我的网站 ，还没做robots文件，也不知道怎么做，请问下高手们，我这网站要哪些内容是需要禁止蜘蛛的？

Answer 1

Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。robots基本语法符号：/     、*   、$

/ 在允许和禁止的文件和文件夹前写;

*通配符，能够匹配所有的英文字符包括数字0;

$表示结束符，用于屏蔽图片时候用。具体写法如图

Answer 2

如果你不确定的文件最好不要放入网站中，百度蜘蛛最不喜欢404页面，或者是内部格局混乱的页面。

Answer 3

比如：你网站的管理员登录信息等。这些你不想让搜索引擎知道的信息都是要禁止搜索引擎抓取的。

Answer 4

如果你网站没有什么不能让引擎见的东西，最好不要写这个文件，最好不要！