Question

百度蜘蛛为什么会抓取网站不存在的路径

Answer 1

1、网站的链接蜘蛛是如何发现
　　百度蜘蛛抓取页面是通过链接引导才会爬到莫个页面抓取的，只要蜘蛛有抓取的页面，那它会自动把抓取的页面保存入库。在百度引擎的的仓库里会有保存很多的页面，蜘蛛会根据用户需求和内容的质量考察后才会放出来。这也是我们觉得网站的收录少了或者刚发布的文章没有被收录，只有通过百度一系列复杂的算法之后，决定是否放出该页面的收录。
　　2、蜘蛛为何会抓取不存在的页面
　　蜘蛛抓取不存在页面有很多的原因，不过总结起来只有以下这几种问题：
　　1、被对手恶意刷外链，也就是说竞争对手恶意的给你发了很多的不存在的页面链接，当蜘蛛发现之后就会来爬取;
　　2、以前做的外链，后来由于网站改版而某些链接没有及时的去除，蜘蛛定期回访的时候爬取了这条链接;
　　3、还有就是购买的域名会出现这样的情况，旧域名之前一定会在搜索引擎留下不同的链接，这种情况类似于第2种问题;
　　4、robots文件没有对蜘蛛进行限制;
　　5、这个问题较难发现，因为这是程序引起的，程序引起的情况很少也不容易发现。一般出现这样的情况是因为程序吧百度蜘蛛牵引导黑洞里;
　　6、url提交或者ping给百度地址有误;
　　蜘蛛爬取不存在的页面，一般情况下都是由于这些问题导致的，其中最主要的原因就是外链部分，所以我们要经常性的去检查下我们网站的外链情况。
　　解决办法：
　　以上的这些问题的解决办法都是较为简单的，我们大致可以分为两种，其一外链导致，其二程序问题。链接导致百度蜘蛛抓取网站不存在路径，我们只需要到百度站长平台使用外链拒绝工具拒绝掉，并提交网站的死链接，同时使用robots屏蔽蜘蛛抓取这些内容。要是程序因素导致百度蜘蛛抓取网站不存在路径，只需要查找程序的问题点，然后修复好程序即可。
　　今天说的这个问题可能对于用户体验没有起到作用，但是对于取得百度引擎是很好的。我们把百度蜘蛛当中一个用户，那么每次到你的网站来都是没有自己需要的，那么百度引擎对于你的网站印象一定很差。要是没有出现这样的页面，那么百度蜘蛛到网站来都能很方便和有用，那么百度引擎对于网站的印象在差也不会差到那去。想要做好一个网站不单单需要质疑这一点还需要顾忌很多的方面，希望大家都能把自己的网站做好。