Question

如何区分搜索引擎爬虫和恶意爬虫

Answer 1

网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。

Answer 2

度官方说明：并不存在有降权蜘蛛一说
只要是搜索引擎的蜘蛛ip就是正常的，只要注意蜘蛛返回的状态是否是正常
有些ip会冒充搜索引擎蜘蛛ip，可以通过ip反查，确认其是不是真实蜘蛛。

1、百度蜘蛛：Baiduspider
常见百度旗下同类型蜘蛛还有下面这些：
Baiduspider-mobile抓取wap）、Baiduspider-image（抓取图片）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。
注：以上百度蜘蛛目前常见的是
Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛：
Googlebot 谷歌蜘蛛最新名称为“compatible; Googlebot/2.1;” “Googlebot-Mobile”
，看名字是抓取wap内容的。
3、360蜘蛛：360Spider
4、SOSO蜘蛛：Sosospider
5、雅虎蜘蛛：“Yahoo! Slurp China”或者Yahoo!
6、有道蜘蛛：YoudaoBot，YodaoBot
7、搜狗蜘蛛：Sogou News Spider 搜狗蜘蛛还包括如下这些：
Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blogSogou News Spider、Sogou Orion spider，Sogou web spider、Sogou inst spider、Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0spider2、Sogou blog、Sogou News Spider、Sogou Orion spider
8、MSN蜘蛛：msnbot，msnbot-media
9、必应蜘蛛：bingbot

追问

有些ip会冒充搜索引擎蜘蛛ip，可以通过ip反查，这句话是什么意思，不是已经冒充ip了吗 通过ip反查应该是要知道真实ip才可以不是吗