Question

禁止搜索引擎蜘蛛爬行 Disallow: /comment*.html 这样设置robots.txt 对吗？

我想禁止搜索引擎蜘蛛爬行类似/comment_383.html 这样的页面，这样设置robotx.txt对吗？
User-agent: *
Disallow: /comment*.html

还是要设置成这样？
User-agent: *
Disallow: /comment_*.html

哪个对？还是两个都对？还是两个都不对？应该怎样设置？

Answer 1

$通配符：匹配URL结尾的字符。例如，下面的代码将允许蜘蛛抓取以 .html 为后缀的URL
User-agent: *
Allow: .html$
下面的代码将禁止蜘蛛抓取以 .html 为后缀的URL
User-agent: *
Disallow: .html$

*通配符：告诉蜘蛛匹配任意一段字符，是任意一段字符，我想像你那两种设置应该都可以。例如，下面一段代码将禁止蜘蛛抓取所有html文件：
User-agent: *
Disallow: /*.html
Allow和Disallow可以配合使用的，如果你只想禁止抓取/comment_383.html所在文件内的所有这种URL，如：/comment_383.html所在的文件夹为/abc,可以写如下代码：
User-agent: *
Disallow: /abc/.html$
这样就可以禁止抓取/abc文件夹下的以 .html 为后缀的文件了。
如果还有什么不明白的地方，可以提问！

Answer 2

正确的设置

User-agent: *
Sitemap: 网站名/sitemap.xml
Disallow: /文件或者文件夹名称/
希望我的回答对您有所帮助。