Question

关于SEO的robots.txt,众所周知robots可以禁止或允许百度蜘蛛访问网站哪些文件夹;

请问,这个禁止访问,是蜘蛛采集并带回到了百度服务器而不放出来,还是说百度蜘蛛根本就不会进入你禁止的这个文件夹???

Answer 1

蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止的网址

都不抓取，肯定是不会被采集存进百度数据库的

Answer 2

蜘蛛在访问网站时，最先访问的是该网站robots.txt文件
如果网站有robots.txt文件并且里面有禁止蜘蛛访问的代码的话蜘蛛就不会访问了
例如：robots.txt文件中的代码为：
User-agent：*
Disallow：/
上面这个robot.txt文件禁止所有搜索引擎爬取任何内容

Answer 3

是蜘蛛不访问未经你授权的文件夹，所以也就不会把你的内容带到服务器

Answer 4

是没有放入的。禁止收录吧

Answer 5

不进入,一般是这样