Question

谁能告诉我怎样看百度蜘蛛有没有爬过我们的网站。

请知道的朋友教我一下，怎样看百度蜘蛛有没有爬过我们的网站

Answer 1

1.要观察百度蜘蛛的爬行记录，最好的办法是通过查看网站日志。
2.只要你的网页被访问过，不管是人还是百度蜘蛛、或者其他搜索引擎蜘蛛。网站日志中都可以把它记录下来。正规的网站空间一般提供网站日志服务。网站日志的下载可以通过ftp。具体的目录可以咨询网站空间商。比较常见的目录有：www_logs、logs等。
3.如果网站空间不提供网站日志服务，你应该考虑更换网站空间了。因为这是最基本的网站空间服务。如果连网站日志记录功能都没有，说明空间质量肯定不会很高。
另外，如果你的网页是php动态的。即网页后缀为php。我们也可以安装一组查看蜘蛛的代码，来实时记录百度蜘蛛的爬行记录。

Answer 2

回复 Amity 的帖子搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过FTP访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。 如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如bd的蜘蛛程序名称是baiduspider，Google的机器人程序名称是Google-Googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。再者，必须能看懂常见的http状态码，最常见的HTTP状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，服务器状态码的值是我们和蜘蛛交流的信号。知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看bd和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和bd蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。

Answer 3

一般都有空间日志，你可以通过你的空间日志看看啦

Answer 4

我也想知道这个问题！不知道2楼是否说得详细点 谢谢