Question

织梦的robots文件需要禁止抓取哪些文件

Answer 1

主要是官方的一些文件夹，你可以参考一下这个 然后考虑禁止哪些
../a　默认生成文件存放目录
../data　系统缓存或其他可写入数据存放目录
../dede　默认后台登录管理（可任意改名）
../images　系统默认的部分系统需要的图片目录
../include　程序核心系统文件目录
../install　安装文件目录
../member　会员系统目录
../plus　插件及辅助功能目录
../special　专题目录
../templets　模版目录
../uploads　默认上传文件目录
../index.php　网站默认动态首页文件
../robots.txt　限定搜索引擎命令
../tags.php　TAG标签文件

Answer 2

一般后台文件 安装文件 模板，动态链接以及感觉网页质量不怎么利于排名的页面，都给禁止抓取的吧！
Sitemap: http://www.dianmowan.cn/sitemap.xml
User-agent: *
Disallow: /admin*
Disallow: /data/
Disallow: /include/
Disallow: /plus/
Disallow: /templets/
Disallow: /uploads/