apache，nginx，iis下如何设置，才可以拒绝所有搜索引擎的蜘蛛爬取 50
4个回答
2013-02-21 · 知道合伙人软件行家
zcmsgk
知道合伙人软件行家
采纳数：343
获赞数：784
从事运维工程多年，有丰富的IDC经验，擅长web应用，熟练掌握Linux、windows各种web环境架构，以及软件应用
向TA提问 私信TA
关注
![]()
展开全部
apache,nginx使用.htaccess 是否可做到？
iis使用robots.txt
iis使用robots.txt
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
镭速传输
2024-10-28 广告
作为深圳市云语科技有限公司的一员，我们推出的FTP替代升级方案，旨在解决传统FTP在安全性、效率、稳定性及管理方面的不足。我们的产品通过采用自主研发的Raysync传输协议，实现高效、安全的文件传输，即使在恶劣网络环境下也能确保传输的稳定性...
点击进入详情页
本回答由镭速传输提供
展开全部
如果你知道ip apache可以用Deny from 192.168.1.99
追问
但ip是死的，如果蜘蛛换个怎么办？
有没有办法通过判断agent的方式阻止？
或者判断是不是真实的访客来判断？
追答
修改apache httpd.conf
DocumentRoot /var/www/xxxxx
SetEnvIfNoCase User-Agent "MSIE 9.0" getout
Order allow,deny
Allow from all
deny from env=getout#设置这些agent不能访问，直接返回 403 forbidden
MSIE 9.0是捣乱者的user agent含有的字符，按具体情况修改，可以添加多行 SetEnvIfNoCase User-Agent "MSIE 6.0" getout
本回答被网友采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
可以考虑在DNS那里阻止Spider，我知道的DNSPOD提供这个功能，可以根据不同的来访者解析到不同的IP，从根源上解决你这个问题，设置非常简单，可以去看一下
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
robots.txt 可以的呢
追问
robots很垃圾。我就是想当蜘蛛爬到服务器的时候自动阻止，不让蜘蛛访问！阻止IP
追答
robots.txt 当然是可以的呢 用来防止蜘蛛爬取的呢
你想限制ip的话 那就看看访问日志 改改配置文件就好。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
