Question

百度蜘蛛访问次数急剧减少的原因？

百度蜘蛛访问次数急剧减少的原因？是什么？哪些因素和百度总访问次数有关系？上周百度蜘蛛访问次数是300多 今天看下日志只90多次？？？？？？无解啊？？？？？？？？？抓取次数减少，总停留时间，和总抓取量变化不大，求解？？抓取次数为什么变化那么大，什么原因啊

Answer 1

1. 检查网站外部链接，目前网站外链9万多，没有发现因垃圾外链导致网站被K的迹象，所以这点基本上可以排除。
2. 问了技术网站服务器的事，可以证实这段期间服务器并未不稳定，而且同IP服务器下并没有被K的站点，所以基本上也可以排除是因为服务器不稳定导致蜘蛛不抓取页面。
3. 检查论坛robots，发现并没有设置错规则，可以排除因错误设置robots导致蜘蛛不能抓取网站的观点。
4. 网站内容质量差，更新无规律。我最近半个月更新的内容都是原创，而且每天都是有规律更新，但是百度蜘蛛依然是访问次数少、抓取深度差，基本上可以排除是因为内容质量和更新不规律导致搜索引擎不抓取网站。
5. 我检查了网站导航，也模拟了搜索引擎抓取页面，证实搜索引擎是可以很好的抓取页面的。因为我网站入口还是蛮多，而且也有做面包屑导航，首页上也有最新帖子和推荐帖子等深层页面入口。所以，基本上可以排除是因为网站没有给深层次页面做入口或者是导航乱导致搜索引擎不抓取网站。
上面5点时我针对网站做的测试，但都是无功而返。今天我又针对百度做了站点地图提交，实现方式如下：
User-agent: *
Sitemap: http://www.esm-cn.com/sitemap.xml
Sitemap: http://www.esm-cn.com/robots.txt
希望百度蜘蛛能多来，多抓取一些不重复的页面。同时，希望各位seoer提出一些自己的建议，解决百度蜘蛛不收录终极页面的问题！！