Question

我的robots这样写会不会影响优化，导致搜索引擎抓取不了我的网站？这样写对吗

User-agent: *
Disallow: /templets
Disallow: /dede
Disallow: /data
Disallow: /include
Disallow: /member
Disallow: /plus
Disallow: /404.html
Allow:/plus/search.php

Answer 1

其实写法倒是没有错误，除了最后一个allow（一般不同时出现allow与disallow）
你的原意如果只是屏蔽目录的收录，结果你写成这样的话，有可能会影响优化
比如说，你的这一条：
Disallow: /plus
表示不要抓取plus文件夹，但如果你当前目录下同时有一个plus.html文件
那么plus.html也不会被抓取

按你的原意，我建议你改为：
User-agent: *
Disallow: /templets/
Disallow: /dede/
Disallow: /data/
Disallow: /include/
Disallow: /member/
Disallow: /plus/
Disallow: /404.html

顺便提一句，你的后台操作目录地址还是改下，别用dede，这很不安全

Answer 2

这个ROBOT感觉是DEDECMS自带的吧？其实LZ首先需要知道Disallow: /templets
这个代表什么Disallow: /templets/又代表什么。
Disallow: /templets 代表：禁止抓取templets文件夹以及以这个单词命名的文件。
Disallow: /templets/ 代表：禁止抓取templets文件夹

Allow:/plus/search.php 然而这句说明允许抓取这个plus文件夹下的search.php文件，其实没用。禁止抓取最好。因为这个是搜索的模板，没有搜索内容。

Answer 3

为什么404也不让抓取呢。模板的所有目录都不让抓取，仅仅需要让搜索引擎抓取数据文件。

Answer 4

你这不是织梦的,这么写没事的，默认的也差不多是这样的，看得出你加上了404