Question

robots.txt的写法是否正确

我新建的网站，robots这样写的
User-agent: *
Disallow: /wp-admin
Disallow: /favicon.ico
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.diaosishop.com/sitemap_baidu.xml
请求高手指点是不是有问题。

Answer 1

您好楼主：
你的robots的意思这这样的，若你是想让搜索引擎这样做的话，那你的就是对的。
User-agent: *
开始配置 所有引擎
Disallow: /wp-*
禁止所有引擎抓取网站前缀为wp-并且包含的目录（包含子目录）
Disallow: /?
禁止所有引擎抓取网站以?开头的动态页面
Disallow: /trackback
禁止所有引擎抓取网站trackback目录（包含子目录）
Disallow: /*/*/trackback
禁止所有引擎抓取网站包含和的目录下的包含和的目录下的trackback目录（包含子目录）
Disallow: /index.php?
禁止所有引擎抓取网站文件名为index.php的动态页面
Disallow: /index.php/
禁止所有引擎抓取网站index.php目录
Disallow: /*.php$
禁止所有引擎抓取网站后缀为并且包含.php的文件
Disallow: /*.js$
禁止所有引擎抓取网站后缀为并且包含.js的文件
Disallow: /*.css$
禁止所有引擎抓取网站后缀为并且包含.css的文件
Disallow: /*/*/feed
禁止所有引擎抓取网站包含和的目录下的包含和的目录下的feed目录（包含子目录）
Sitemap: http://www.diaosishop.com/sitemap_baidu.xml
Sitemap地址：http://www.diaosishop.com/sitemap_baidu.xml
希望对您有所帮助
【相关阅读：http://baike.baidu.com/view/9274458.htm】