Question

如何禁止网络爬虫频繁爬自己网站

Answer 1

可以设置robots.txt来禁止网络爬虫来爬网站。
方法：
首先，你先建一个空白文本文档（记事本），然后命名为：robots.txt；
（1）禁止所有搜索引擎访问网站的任何部分。
User-agent: *
Disallow: /
（2）允许所有的robots访问，无任何限制。
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
还可以建立一个空文件robots.txt或者不建立robots.txt。

（3）仅禁止某个搜索引擎的访问（例如：百度baiduspider）
User-agent: BaiduSpider
Disallow:/
（4）允许某个搜索引擎的访问（还是百度）
User-agent: BaiduSpider
Disallow:
User-agent: *
Disallow: /
这里需要注意，如果你还需要允许谷歌bot，那么也是在“User-agent: *”前面加上，而不是在“User-agent: *”后面。
（5）禁止Spider访问特定目录和特定文件（图片、压缩文件）。
User-agent: *
Disallow: /AAA.net/
Disallow: /admin/
Disallow: .jpg$
Disallow: .rar$
这样写之后，所有搜索引擎都不会访问这2个目录。需要注意的是对每一个目录必须分开说明，而不要写出“Disallow:/AAA.net/ /admin/”。

Answer 2

可以设置 robots.txt来禁止爬虫来爬服务器。网上查了下资料，默认网站根目录下没有放置robots.txt文件，为允许所有网络爬虫搜索所有文件。汗！！ 在根目录放一个文件robots.txt，但好像不会立刻生效。 如要禁止sogou的爬虫，可以在robots.txt这样设置 User-agent:Sogou web spider Disallow: / 有个笨方法，查看日志，观察浏览器特征，如sogou的特征为Sogou web spider，可以在apache里面设置 setenvif User-Agent Sogou web spider* den Order deny,allow deny from env=den