Question

为什么网站日志百度蜘蛛抓取的都是404页面？

最近一个多星期了，查看网站日志百度蜘蛛抓取的都是404页面，这些页面都是之前删除的内容页我已经提交百度死链接了，在robots中也屏蔽过了，可是百度蜘蛛依然每天都在抓取，有的404抓取好多次。但是每天更新的文章和其他内页都不抓取，很少或几乎没有状态码为200的正常页面，请问这是怎么回事？
好几个以前删除，robots也屏蔽的网站目录百度蜘蛛依然每天都在抓取。
ps1：网站上线2个月，每天更新原创文章2-5篇，每天都发高质量外链10条
ps2：网站做过一些改动，特别是内容页。前一段时间已经建立的213个索引量快要放出来时，我在每个文章页都加了一幅图片和alt说明，第二天索引量骤降为0，自此百度抓取也开始不正常了。现在过去将近一个月了，还没有恢复正常，没有索引抓取不及时
请问问题出在哪里？
如何让蜘蛛重新正常抓取内页和每天更新的文章？
如何彻底杜绝百度蜘蛛抓取404页面？





Answer 1

你的404页面设置可能有错误，正常情况下错误的不存在的页面返回的应该是404页面，你可能设置的是跳转例如301或是302，也就是当出现错误页面的时候页面301或是302跳转到到了这个404页面

Answer 2

在百度的审核期，对网站进行改动，死在了萌芽中，很难复活，更新文章频率有点儿高…个人观点

Answer 3

robots屏蔽了也会爬取的但是不会显示出来，就是不会在搜索结果里面显示出来，你这个情况过一段时间就好了

Answer 4

百度是不是死链，与您提交给运行你的，它不应该看一组新的机器人。

Answer 5

百度没有用新的robot设置和你提交的死链去跑，你过一阵子吧再看看应该自己就没有了。