Question

robots禁止搜索引擎抓取问题~

想问下大神，robots一般禁止抓取哪些目录，麻烦详细说明下，并解释下原因，不胜感激！
网站用的.net，谢谢！

如果我这样写：
Disallow: /App_Data/
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /Scripts/
Disallow: /ServerPages/
Disallow: /Setting/
Disallow: /sysCommon/
Disallow: /TemplateFile/
对网站有什么影响，求大神赐教~

一点悬赏不成敬意~

Answer 1

你的robots的意思是
Disallow: /App_Data/
Disallow: /aspnet_client/
Disallow: /bin/
Disallow: /Scripts/
Disallow: /ServerPages/
Disallow: /Setting/
Disallow: /sysCommon/
Disallow: /TemplateFile/
解说：
禁止搜索引擎抓取网站/App_Data/目录下的所有页面
禁止搜索引擎抓取网站 /aspnet_client/目录下的所有页面
禁止搜索引擎抓取网站/bin/目录下的所有页面
禁止搜索引擎抓取网站/Scripts/目录下的所有页面
禁止搜索引擎抓取网站/ServerPages/目录下的所有页面
禁止搜索引擎抓取网站/App_Data/目录下的所有页面
禁止搜索引擎抓取网站 /sysCommon/目录下的所有页面
禁止搜索引擎抓取网站/TemplateFile/目录下的所有页面
但是本人建议最好还是能够写的标准一点
User-agent: * （这里的*代表搜索搜索引擎）
Allow:/
Disallow:/App_Data/
Disallow:/aspnet_client/
Disallow:/bin/
Disallow:/Scripts/
Disallow:/ServerPages/
Disallow:/Setting/
Disallow:/sysCommon/
Disallow:/TemplateFile/
Disallow和allow是配合使用的
如不想让搜索引擎抓取网站/App_Data/目录下面的所有内容但要让搜索引擎抓取/App_Data/A/可以这样写
allow:/App_Data/A/
还有在写robots的时候【Disallow: /Setting/】 “：”号最好用英符 若用的是英符的话不要出现空格。
以上就是我的回答，欢迎交流，望采纳

追问

我说的那些目录，哪些可以禁止抓取，哪些不能禁止抓取呢？禁止了又有什么影响呢？

追答

不想让别人在网上搜到的东西就是可以禁止的，从优化上面来说，不想给某个页面分配权重的话也是可以禁止的，包括死链接都是可以的，如联系我们、在线咨询等禁止了之后从理论上来说若搜索引擎遵循robots就不会抓取你禁止的目录里面的内容，

Answer 2

以下注释，希望你认真看并且对比你的网站，相信就可以解决你的问题。如果还是不懂可以：
百度搜索“小怡seo” 点击排名第一网站，具体看看

注释如下：
禁止某个目录被搜索引擎蜘蛛抓取，设置代码如下：
　　User-agent: *
　　Disallow: /目录名字1/
　　Disallow: /目录名字2/
　　Disallow: /目录名字3/
　　把目录名字改为你想要禁止的目录即可禁止搜索引擎蜘蛛抓取，目录名字未写表示可以被搜索引擎抓取。

设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下:
　　User-agent: *
　　Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)
其中：
“$” 匹配行结束符。
“*” 匹配0或多个任意字符。