Question

robots的写法有哪些呢？

Answer 1

一、定义: robots.txt 是存放在站点根目录下的一个纯文本文件，让搜索蜘蛛读取的txt文件，文件名必须是小写的“robots.txt”。
二、作用: 通过robots.txt可以控制搜索引擎收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。
三、语法:
User-agent:搜索引擎的蜘蛛名
Disallow:禁止搜的内容
Allow:允许搜的内容
四、实例：
1.User-agent: *
//禁止所有搜索引擎搜目录1、目录2、目录3
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
2. User-agent: Baiduspider //禁止百度搜索secret目录下的内容
Disallow: /secret/
3. User-agent: *
//禁止所有搜索引擎搜索cgi目录，但是允许slurp搜索所有
Disallow: /cgi/
User-agent: slurp
Disallow:
4. User-agent: *
//禁止所有搜索引擎搜索haha目录，但是允许搜索haha目录下test目录
Disallow: /haha/
Allow:/haha/test/
五、常见搜索引擎蜘蛛的代码 #搜索引擎User-Agent代码对照表 以上是rotbots.txt使用方法，更多的到yy6359频道学习吧