Question

我明明设置了robots.txt禁止搜索引擎收录的，为什么百度还是收录了我的首页

我robots.txt是这样写的User-agent: * Disallow: /这样写是不是禁止所有搜索引擎收录啊，我这样写对了吗？我昨天有一个站都还没有做好，我就是想上传到空间想测试一下，谁知道昨天上传的网站，今天百度就收录了首页，我连都没有写好百度就抓取了，现在我的title在百度上显示就是dedecms默认的title “我的网站”。想它收录的时候它不收录，不想他收录的时候它却够快的，到时候我改title的时候不知道会怎么样？百度会是什么反应呢？

Answer 1

三种原因你排除一下吧1.你没有放在根目录下，相信对你这样会做robots的人来说应该不会出现2.命名没有小写，相信也不会出现3.百度不能通过你的网站收录，但如果有其他网站链接你的首页，你的首页一样被收录，因为那个时候百度不直接访问你的网站文件。例如淘宝网淘宝网首页能在百度搜到，但内容被淘宝设置为了 User-agent: Baiduspider Disallow: / 请采纳我为最佳答案，我自信我快乐，我助人为乐

Answer 2

度娘比较色 不规矩

Answer 3

我还想百度收录我的网页也 ，不知道什么时候www.xuezhuan8.com才来哟

Answer 4

经常碰到的现象，百度经常会这样。哎哟，经历了多少次了，明明写了，放根目录下了，也会收录，甚至，内页的头部标签中都给写上了也都给收录，真心没办法，纠结下就好了。呵呵。