Question

网站添加robots.txt后为什么百度蜘蛛还能爬行？

robots.txt是限制抓取内容还是限制爬行的

Answer 1

限制爬行和抓取，如果添加robots之后，日志显示还在爬行，有两种情况：
1.robots还未生效，因为robots文件需要百度抓取之后才能生效，有一个过程；
2.robots生效了，但是robots规则没有写对。

理论上robots生效了并且规则对的话，是不会爬行的。但是robots屏蔽了爬行，不代表没有索引，索引的标题来源有很多种：一种是外部链接的锚文本，一种是旧的快照的标题和内容，还有一种是网址导航中的标题和描述等。所以不代表robots屏蔽了，就搜不到了。

Answer 2

你要看一下返回码是什么，如果是200，那就是抓取到了。