Question

该站robots.txt 禁止baiduspider访问，想删除，但是我在网站根目录里又找不到robots.txt 文件，怎么办

如题

Answer 1

如果你用域名后面加robots.txt无法访问的话，那说明根目录是真的没这个文件，那么剩下的可能性就是在你网页的代码中有<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
这样的代码了。

追问

这个怎么找啊，

追答

你就打开你的网站，右键查看源代码，然后搜索"robots"看能不能搜到

追问

报告大哥 没找到 ，怎么才能让所有的搜索蜘蛛爬行我的网站呢

追答

如果你按照你说的网站根目录没有robots.txt文件，且网页中也没有robots的代码，那就不存在禁止百度收录的情况啊。
你可以去google网站管理员工具里面测试下看看有没有robots限制

Answer 2

你先用 网址/robotx.txt 看看有没有内容，
比如：
http://www.baidu.com/robots.txt

就知道根目录下有没有robots.txt文件了。
没有了 自己可以手动创建一个的。

追问

没找到 关键是我想删除它啊，影响百度收录啊 大哥帮忙吧

追答

你可以创建一个robots.txt文件

内容为：
------------我是漂亮的分割线 请复制下面的内容----------------------------------
User-agent: *
Allow: /
------------我是漂亮的分割线 请复制上面的内容----------------------------------

这样所有的搜索引擎都可以抓取你的网站了。