Question

如何不让搜索引擎抓取网站的隐私内容

Answer 1

什么是robots协议？

1.robots.txt是什么？

有没有想过，如果我们某个站点不让百度和google收录，那怎么办？

搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不会去收录。这个写约定的的文件命名为:robots.txt。robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。

如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。

2.Robots.txt文件怎么写

robots.txt文件的格式：

User-agent：定义搜索引擎的类型

Disallow：定义禁止搜索引擎收录的地址

Allow：定义允许搜索引擎收录的地址

一般情况下，robots.txt里只写着两个函数：User-agent和Disallow，至少要有一个Disallow函数，如果都允许收录，则写:Disallow:，如果都不允许收录，则写:Disallow:/（注：只是差一个斜杆）。在文件中只写出要屏蔽的蜘蛛就可以了，允许爬行的蜘蛛就不用写出来了。并且，有几个禁止，就得有几个Disallow函数，要分行描述。

例1.禁止所有搜索引擎访问网站的任何部分

User-agent:*（注：*是一个通配符，在这里指所有的搜索引擎种类）

Disallow:/

例2.禁止某个搜索引擎的访问

User-agent:BadBot

Disallow:/

例3.允许某个搜索引擎的访问

User-agent:Baiduspider

allow:/

例4.容许搜索引擎访问特定目录中的网页

　　User-agent:*

　　Allow：/目录1/目录2（容许访问目录2中的网页）

　　Allow：/目录3/目录4（容许访问目录4中的网页）

　　Allow：/目录5/目录6（容许访问目录6中的网页）

　　Disallow：/目录1/

　　Disallow：/目录3/

　　Disallow：/目录5/

特别提示：robots里面内容的大小写不可更改，Disallow后面的冒号必须为英文状态的。

3.Robots.txt文件应放在哪里？

robots.txt文件必须放在网站的根目录下，必须命名为：robots.txt，都是小写，robot后面加"s"。放在子目录的robots.txt文件搜索引擎不能爬取到，所以不会起任何作用。

例子：

http://www.cncn.com/robots.txt有效

http://www.cncn.com/bbs/robots.txt无效

4.生效时间

robots.txt文件一般生效时间为7-15天，即1-2周。如果新网站源码中包含robots.txt文件，那样蜘蛛进行爬行时就会生效，如果是后来添加的，那样蜘蛛需要对数据进行更新，时间一般在7-15天。

5.关于robots.txt一般站长需要注意以下几点：

1.）网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

2.）网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

3.）一些没有关键词的页面，比如站内的搜索结果页面屏蔽掉更好

4.）网站中的脚本程序、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件。

5.）搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。如果这样的话，会导致整个网站不能被搜索引擎收录。