Question

robots具体如何使用

我想屏蔽我网站的一个页面不让收录比如我不想被收录1.html,我在robots里应该怎么写啊，要具体的写法，先谢谢了

若以下回答无法解决问题，邀请你更新回答

Answer 1

　在进行网站优化的时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，以前写过一篇网站优化robots.txt文件的运用, 现在写这篇文章在补充一点点知识！什么是robots.txt文件?
　　搜索引擎通过一种爬虫spider程序（又称搜索蜘蛛、robot、搜索机器人等），自动搜集互联网上的网页并获取相关信息。
　　鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。
　　robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。robots.txt文件的格式
　　User-agent: 定义搜索引擎的类型
　　Disallow: 定义禁止搜索引擎收录的地址
　　Allow: 定义允许搜索引擎收录的地址
　　我们常用的搜索引擎类型有： (User-agent区分大小写)
　　google蜘蛛：Googlebot
　　百度蜘蛛：Baiduspider
　　yahoo蜘蛛：Yahoo!slurp
　　alexa蜘蛛：ia_archiver
　　bing蜘蛛：MSNbot
　　altavista蜘蛛：scooter
　　lycos蜘蛛：lycos_spider_(t-rex)
　　alltheweb蜘蛛：fast-webcrawler
　　inktomi蜘蛛： slurp
　　Soso蜘蛛:Sosospider
　　Google Adsense蜘蛛:Mediapartners-Google
　　有道蜘蛛:YoudaoBot