Question

robots.txt应放在网站的哪里

Answer 1

您好楼主：
　　robots.txt是要放到根目录下面的。
　　所谓的根目录就是你的网站程序所在的那个目录，一般的根目录貌似都是个叫WEB或者www文件夹
　　robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。
　　位于子目录中的robots.txt文件无效，因为漫游器只在域的根目录这个文件。
　　例如，http://www.baidu.com/robots.txt是有效位置。
　　但是，http://www.baidu.com/mysite/robots.txt不是。
　　如果您没有访问域的根目录，可以使用限制访问robots元标记。
【相关阅读：http://baike.baidu.com/view/9274458.htm】

Answer 2

spider(蜘蛛)在访问一个网站时，会首先会检查该网站目录是否有一个文件叫做robots.txt的纯文本文件，这个文件用于指定spider(蜘蛛)在你网站是的抓取的范围.比如SEO研究中心的robots.txt文件

robots.txt教程

Answer 3

您好楼主：robots.txt是要放到根目录下面的。所谓的根目录就是你的网站程序所在的那个目录，一般的根目录貌似都是个叫WEB或者www文件夹robots.txt文件必须驻留在域的根目录，并且必须命名为“robots.txt”。位于子目录中的robots.txt文件无效