Question

怎样写robots.txt禁止搜索引擎收录网站的一个页面？

robots如何禁止百度收录comment-*-*.html 页面

*为任意数字或者字符！

Answer 1

《一》User-agenet：用来定义搜索引擎。写法如：User-agent：*（或者搜索引擎的蜘蛛的名字）。

《二》Disallow： 是禁止语法，用来定义禁止蜘蛛爬取的页面或者目录。如：Disallow：/文件夹目录/ 或者是 Disallow：/文件夹名称 （表示禁止蜘蛛爬取网站的其中一个页面）
实例：Disallow：/ 禁止蜘蛛爬取网站的所有目录
Disallow:/admin (禁止蜘蛛爬取admin目录)
Disallow:/login.html (禁止蜘蛛爬去login.html页面)
Disallow:/help.html (禁止蜘蛛爬去help.html页面)

《三》Allow:是允许语法，用来定义允许蜘蛛爬取的页面或者子目录。
实例：Disallow:/ (禁止蜘蛛爬取网站的所有目录)
Disallow:/admin (禁止蜘蛛爬取admin目录)
Allow:/admin/abc.html("/" 表示根目录下，允许蜘蛛爬去admin目录中的abc.html页面）
《四》$ 和* 通配符的使用。$匹配URL结尾的字符；*匹配0个或多个任意字符。

追问

这个我也知道 但是看不明白 能不能帮忙写好？

Answer 2

User-agent: *
Disallow: /comment-*-*.html

这样就会禁止所有搜索引擎搜录comment-*-*.html的页面，*就是通配符

追问

貌似我的问题就是答案 郁闷！！

追答

恩 对

Answer 3

User-agent: *
Disallow: comment-*-*.html

很简单