Question

robots.txt格式一般是什么样的？网站地图是不是每天都要向robots.txt提交更新一次

User-agent: *Allow: /Disallow: /admin/Sitemap: 这个是我的robots.txt 文件，不知道格式对不对。地图是我上个月提交上去的，至今没有更新。今天打开网站地图这个链接的时间，打不开了。是不是需要每天都要向robots.txt 提交一次呢？还有一个问题是，怎么检查自己的网站有没有做404页面呢， 这个还不太会查找， 各位大侠帮忙看一下吧。 这个是我的网站：

Answer 1

不是，不需要提交任何蜘蛛来网站第一个读取的就是ROBOT文件，所以你只要将地图文件写进ROBOT，注意地图文件是最新的，那么就可以了

Answer 2

Allow: / 这行去掉。robots不用提交。搜索引擎来你网站的时候会首先检测这个文件的。404页面，你随便在浏览器里输入一个你的域名下不存在的目录或者页面，会显示无法显示的话，就是没有做404.有做的话会显示 域名/404.html

Answer 3

5L正解 你只需要吧地图写进你的 robots里面就可以了.直接先爬得就是robots

Answer 4

你的robots不用改吧，更新的是网站地图的文件而已。