Question

如何设置robots.txt

对于网站http://www.jyyg180.com的robots.txt文件应该如何去设置，首先我没有这个网站的空间服务器密码，那我可以通过查看首页源代码设置robots.txt吗？

Answer 1

robots.txt的使用方法和详细解释
robots.txt对于大多数有网站优化经验的朋友来说并不算太陌生，用过的朋友肯定会有感受，设置好robots.txt对网站优化来说利远远大于弊。今天彭宇诚就与大家分享一下robots.txt的使用方法，希望对大家有所帮助。

我们先来认识一下什么是robots.txt？

我理解的是robots.txt是通过代码控制搜索引擎蜘蛛索引的一个手段，以便减轻网站服务器的带宽使用率，从而让网站的空间更稳定，同时也可以提高网站其他页面的索引效率，提高网站收录。

下面我们再来熟悉一下怎样使用robots.txt？

首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。

robots.txt文件内的代码书写规范我们也要注意，其中User-agent:*是必须存在的，表示对所有搜索引擎蜘蛛有效。Disallow:是说明不允许索引哪些文件夹

Answer 2

最权威的方法，请参照google官方的写法，详情请见
http://www.google.com/robots.txt

Answer 3

robots.txt文件必须放在网站根目录下，所以如果你没有服务器权限的话 就没办法修改robots.txt文件啦

Answer 4

设置这个很重要，参照robots.txt 百度百科里面的去设置就很好，这个是一定要设置的，给您一个参考