Question

搭建DEDE网站 默认的robots文件都是下面这样的 需不需要更改，还是说上线时候需要都删除

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets

Answer 1

网站的robots文件是用来引导搜索引擎蜘蛛爬行的路径的，它这样的配置就是限制了所有的搜索引擎蜘蛛访问/下面的文件或者目录下的文件。您可以先了解一下robots文件的编写方式，以及每行代码的作用。希望我的回答能帮助到您！

追问

请你解释我这个问题，我也知道robots是干嘛的

追答

从你的robots文件来看，它屏蔽了蜘蛛对下面目录文件的访问，是比较合理的，因为从目录文件名称上都是常用的网站配置文件、公共模板文件、数据执行文件是无需让搜索引擎抓取的，所以robots文件这样配置是合理的无需删除。

追问

嗯 谢谢你啊 我了解了， 那一般用DEDE建站 网站里都直接出现这个内容的，那请问我还要怎么写
robots呢

追答

我不知道你的网站还有哪些目录中的文件是不希望让搜索引擎抓取的，譬如，管理后台，支付目录等等，您可以接着下面继续Disallow: /您要屏蔽的目录（特别是管理后台）

追问

哦 我懂了 谢谢