如何知道自己网站蜘蛛爬行的记录
如何知道自己网站蜘蛛爬行的记录之前看到有朋友说iis日志,不知能否有朋友补充完整一些~~!具体在哪里查询,还有朋友说用软件,相关软件下载地址有没有?谢谢~~!你们辛苦了~...
如何知道自己网站蜘蛛爬行的记录之前看到有朋友说iis日志 ,不知能否有朋友补充完整一些~~!
具体在哪里查询,还有朋友说用软件,相关软件下载地址有没有?谢谢~~!你们辛苦了~~! 展开
具体在哪里查询,还有朋友说用软件,相关软件下载地址有没有?谢谢~~!你们辛苦了~~! 展开
展开全部
现在的百度蜘蛛机器人决非以前的机器人了,貌似更聪明,爬行也更灵活多变,今天我们就用实例给大家谈谈。 一、爆发式爬行 不知百度蜘蛛是不是喜欢高效率的爬行,有时百度蜘蛛能在一两分钟内爬行几百次。比如我的站,天天基本上百度蜘蛛都会爆发式爬行几次,早上6点钟有一次大约爬行300次;上午9点钟的时候有一次也是爬行300多次;13点的时候也有一次,不过要少一点,只有200多次;18点的时候也有一次,大约会爬行400多次,23点的时候也有一次,大约只有250次。有时候,我查看具体爬行记录时,这些爆发式爬行基本上不会超过五分钟。有一次,我的站不知是哪个会事,百度蜘蛛在两分钟内爬行了1800多次,我当时就有点纳闷,百度蜘蛛机器人的运算速度可真是惊人。不过我现在基本上知是哪个会事了,由于蜘蛛机器人,它爬行一段时间过后,蜘蛛机器人在去运算程序,看是否是原来收录过的,是否是原创什么的,是否应该收录等等。 二、 确认式爬行 确认式爬行方式百度也是在9月底才开始试行,那么什么是确认式爬行呢,就是指你网站更新一个内容过后,百度第一次爬行过后,一定不会给你放出收录来,百度蜘蛛还要进行第二次爬行在运算、比较计算的,假如以为你这个更新内容有必要收录,百度蜘蛛会进行第三次爬行,正常情况下百度蜘蛛不会进行第四次爬行。第三次确认过后,百度蜘蛛就会慢慢的给你放出收录。 这种确认式爬行方式,就有点类似与谷歌的爬行方式。百度蜘蛛机器人爬行首页的方式还是同原来一样,一天不知要爬行多少次首页,其它页面,假如百度以为有必要进行计算的话,就会进行第二次确认爬行。比如我的站吧,我天天更新的内容,只要是百度蜘蛛机器人爬行了三次的,基本上都会放出收录来。爬行两次了的,都不会放出来。爬行四次的基本上没有看到过。 三、稳定式爬行 稳定式爬行,指的是天天24小时,每一个小时的爬行量相差不大。稳定式爬行往往是对新站才会出现,对于百度以为你站是成熟期的,假如出现了这种爬行方式,你可一定要小心了,这种爬行方式,你的站多半会被降权。第二天就能看出来,首页的快照日期,一定不会给你更新的。比如我的站pk586.com,每一个小时内的爬行量,从图表中看出来都相差无几。所以这个站的首页基本上不会出现24小时快照。
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询