Question

robots.txt使用中 网站中哪些内容 是可以禁止搜索引擎索引的 而更利于优化的？

Answer 1

一般网站中不需要搜索引擎抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
比如下面这个robots.txt：
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件

Answer 2

这么怎么说呢，当然是搜索引擎越多的访问网站上的内容越好
你要禁止访问，最多只是积累下网站的权重而已，不被不重要的页面所分去权重
一般联系方式，备案之类的是可以禁止的

Answer 3

disallow:/tempweb/说明不允许收录tempweb里的所有文件。
disallow后添加不允许收录的文件名

Answer 4

利于优化

Answer 5

diallow
ugent
把搜索引擎的程序名称写下就可以了。