怎么从网站log日志判断百度蜘蛛来过
那么我们如何判断百度蜘蛛来过呢？答案是要根据网站log日志，如果百度蜘蛛来过那么网站log日志中会有相关记录。一个是百度蜘蛛名字 Baiduspider，一个是百度蜘蛛ip，这两点要综合考虑才能正确分析，下面我们说说具体如何操作。
1、先确认log日志对客户端访问机器名以及访问ip进行了记录。
如果没有记录这两项就没有Baiduspider字样显示，也没有百度蜘蛛IP记录。可以问下你虚拟主机的空间商，如何设置日志记录蜘蛛踪迹，如何下载下来日志，客服会详细告诉你。
2、下载网站log日志，可记事本打开文件，用查找 找 Baidu，字样并记录，各条数据IP。
因为有些站是仿百度蜘蛛来访问你的网站，他们名字也起的是Baiduspider，所以，为了避免被迷惑，我们还要根据IP进行反查，来确定这些IP对应的服务器名。下面是一些log日志中含Baiduspider的记录：
123.125.71.26 - - [14/Feb/2014:01:03:29 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
123.125.71.41 - - [14/Feb/2014:07:04:36 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.117 - - [14/Feb/2014:01:03:49 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
220.181.108.100 - - [14/Feb/2014:07:05:14 +0800] "GET / HTTP/1.1" 200 10599 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
117.28.255.53 - - [14/Feb/2014:08:30:11 +0800] "GET / HTTP/1.1" 200 4111 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
60.172.229.61 - - [14/Feb/2014:09:37:56 +0800] "GET / HTTP/1.1" 200 4123 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
3、点“开始” “运行” 》 输入cmd 点“确认” 进入命令行模式，在命令行模式 输入 nslookup 回车 进入反查操作。输入你记录的百度蜘蛛ip 回车 看是否返回百度蜘蛛相关信息。如果返回就证明是百度蜘蛛；如果没有，证明是其他站仿的百度蜘蛛。
