Question

SEO 的 robot.txt 文件是怎么写的，怎样屏蔽一些他们已经收录了的网页。 求指点，不说明白是不给分的。

具体内容是什么
不要告诉我“直接再robots把要屏蔽地址加上就可以了”“你去参考你同行的ROBOTS就好了”“百度下，认真看下，应该没问题的。”
类似于这样的请不要在此留言。
要具体代码怎样写的 ，可能分不够多，请多担待，会加分。

Answer 1

如果是谷歌的话，反应很快的；如果是百度，就算你加上也有可能收录，而且去掉速度也很慢，我的情侣seo博客就是很好的例子。
•要拦截整个网站，请使用正斜线。
Disallow: /•要拦截某一目录以及其中的所有内容，请在目录名后添加正斜线。
Disallow: /无用目录/ •要拦截某个网页，请列出该网页。
Disallow: /私人文件.html•要从 Google 图片中删除特定图片，请添加以下内容：
User-agent: Googlebot-Image
Disallow: /images/狗.jpg •要从 Goo le 图片中 除您网站上的所有图片，请执行以下指令：
User-agent: Googlebot-Image
Disallow: / •要拦截某一特定文件类型的文件（例如 .gif），请使用以下内容：
User-agent: Googlebot
Disallow: /*.gif$•要阻止抓取您网站上的网页，而同时又能在这些网页上显示 Adsense 广告，请禁止除 Mediapartners-Google 以外的所有漫游器。这样可使网页不出现在搜索结果中，同时又能让 Mediapartners-Google 漫游器分析网页，从而确定要展示的广告。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。例如：
User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Allow: /
Googlebot（但并非所有搜索引擎）遵循某些模式匹配原则。

•要匹配连续字符，请使用星号 (*)。例如，要拦截对所有以 private 开头的子目录的访问，请使用以下内容：
User-agent: Googlebot
Disallow: /private*/•要拦截对所有包含问号 (?) 的网址的访问（具体地说，这种网址以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串），请使用以下内容：
User-agent: Googlebot
Disallow: /*?•要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容：
User-agent: Googlebot
Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下，您可以对您的 robots.txt 文件进行如下设置：

User-agent: *
Allow: /*?$
Disallow: /*?Disallow: /*? 指令会阻止包含 ? 的所有网址（具体地说，它将拦截所有以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串的网址）。

Allow: /*?$ 指令将允许以 ? 结尾的任何网址（具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址）。

Answer 2

User-agent: *
Disallow: /
这个意思是禁止所有蜘蛛进行网站访问
第一句是所有蜘蛛的意思
第二句是禁止访问网站跟目录下的所有文件，也就是网站整体
如果你不想让蜘蛛访问某个文件夹
比如：根目录下的admin这个文件夹不想让蜘蛛访问，robots文件就可以这么些
User-agent: *
Disallow: /admin/
有多个文件夹就多加几行 Disallow: /文件夹名/
就这么简单，明白了？？？

Answer 3

User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_buyaction.php
Disallow: /plus/erraddsave.php
Disallow: /plus/posttocar.php
Disallow: /plus/disdls.php
Disallow: /plus/feedback_js.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets 只是简单的写了一下，刚好昨天我也遇到了这个问题和别人讨论之后的答案。你可以参考一下。希望对你有用。

Answer 4

你告诉我 需要屏蔽的内容，我告你robots具体的写法