Question

robots.txt怎么写？比如我想屏蔽我二级目录ok下的5.html怎么写？

Answer 1

我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根腔丛目录下即可。robots.txt写法如下：User-agent: *Disallow:或者User-agent: *Allow: /
如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话robots.txt写法如下：User-agent: BaiduspiderDisallow: /
如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot即可robots.txt写法如下：User-agent: GooglebotDisallow: /
如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话robots.txt写法如下：User-agent: *Disallow: /css/Disallow: /admin/Disallow: /images/
如果我们允许蜘蛛访问我们网站的某个目录中的某些特定网址的话robots.txt写法如下伍卜樱：User-agent: *Allow: /css/myAllow: /admin/htmlAllow: /弊携images/indexDisallow: /css/Disallow: /admin/Disallow: /images/
我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。robots.txt写法如下：User-agent: *Disallow: /html/*.htm
如果我们使用“$”的话是仅允许访问某目录下某个后缀的文件robots.txt写法如下：User-agent: *Allow: .asp$Disallow: /
如果我们禁止Google搜索引擎抓取我们网站上的所有图片(如果你的网站使用其他后缀的图片名称，在这里也可以直接添加)robots.txt写法如下：User-agent: GooglebotDisallow: .jpg$Disallow: .jpeg$Disallow: .gif$Disallow: .png$Disallow: .bmp$

追问

太多了有点乱哈，我的意思是屏蔽二级目录或者二级目录下的某个文件怎么写。
比如我想屏蔽bbs/55.asp。。