那位大神能看看这些是什么啊?着急网站robots.txt 文件
User-agent:*Disallow:/plus/ad_js.phpDisallow:/plus/advancedsearch.phpDisallow:/plus/c...
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets 展开
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets 展开
展开全部
以上信息的意思是,禁止所有搜索引擎蜘蛛抓取和索引以上目录及文件,Disallow: 是定义禁止搜索引擎收录的地址,例如:Disallow: /plus/ad_js.php,意思是,禁止蜘蛛抓取收录plus文件夹下的ad_js.php文件里的内容,再例如:Disallow: /templets,意思是禁止蜘蛛索引收录templets文件夹下的所有文件内容!
如果允许所有搜索引擎蜘蛛访问和抓取网站所有内容,可以建立一个空的robots.txt的文件放在根目录,或者把robots.txt内的原有命令改为:
User-agent: *
Allow:
这样就可以允许所有搜索引擎蜘蛛访问和抓取了,不过网站有一些内容是没必要被抓取的,像 后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
如果允许所有搜索引擎蜘蛛访问和抓取网站所有内容,可以建立一个空的robots.txt的文件放在根目录,或者把robots.txt内的原有命令改为:
User-agent: *
Allow:
这样就可以允许所有搜索引擎蜘蛛访问和抓取了,不过网站有一些内容是没必要被抓取的,像 后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询