如何拒绝搜索引擎收录自己的网站？

 我来答

1个回答

#热议# 普通体检能查出癌症吗？

IT168
2022-12-08 · 百度认证:IT168官方账号,优质数码领域创作者

IT168

IT168是中国最大的个人和企业IT产品选购、互动网站,每日提供最新的IT产品报价、促销行情、手机、平板、笔记本、相机和企业等50个频道提供最专业的产品选购和使用建议。

向TA提问

关注

展开全部

例1.禁止所有搜索引擎访问网站的任何部分
User-agent:*
Disallow:/
实例分析：淘宝网的Robots.txt文件
User-agent:baiduspider
Disallow:/
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
例2.允许所有的robot访问(或者也可以建一个空文件“/robots.txt”file)
User-agent:*
Allow:
例3.禁止某个搜索引擎的访问
User-agent:BadBot
Disallow:/
例4.允许某个搜索引擎的访问
User-agent:Baiduspider
allow:/
例5.一个简单例子
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
User-agent：后的*具有特殊的含义，代表“anyrobot”，所以在该文件中不能有“Disallow:/tmp/*”or“Disallow:*.gif”这样的记录出现。
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
需要注意的是对每一个目录必须分开声明，而不要写成“Disallow:/cgi-bin//tmp/”。