那位大神能看看这些是什么啊?着急网站robots.txt 文件

User-agent:*Disallow:/plus/ad_js.phpDisallow:/plus/advancedsearch.phpDisallow:/plus/c... User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
展开
 我来答
guangxu214
2012-06-29
知道答主
回答量:9
采纳率:0%
帮助的人:9.1万
展开全部
以上信息的意思是,禁止所有搜索引擎蜘蛛抓取和索引以上目录及文件,Disallow: 是定义禁止搜索引擎收录的地址,例如:Disallow: /plus/ad_js.php,意思是,禁止蜘蛛抓取收录plus文件夹下的ad_js.php文件里的内容,再例如:Disallow: /templets,意思是禁止蜘蛛索引收录templets文件夹下的所有文件内容!
如果允许所有搜索引擎蜘蛛访问和抓取网站所有内容,可以建立一个空的robots.txt的文件放在根目录,或者把robots.txt内的原有命令改为:  
User-agent: *

Allow:
这样就可以允许所有搜索引擎蜘蛛访问和抓取了,不过网站有一些内容是没必要被抓取的,像 后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
tao16d
2012-06-24 · TA获得超过124个赞
知道答主
回答量:343
采纳率:0%
帮助的人:133万
展开全部
这些是所有蜘蛛屏蔽你网站根目录的部分目录地址
追问
这对百度谷歌收录有影响吗?
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式