网站不想让搜索引擎抓取怎么做???

 我来答
私零多逐海17
2017-10-28 · 知道合伙人互联网行家
私零多逐海17
知道合伙人互联网行家
采纳数:650 获赞数:31632
微软软件开发工程师 微软测试工程师 web前端开发工程师 重庆老渔哥网络科技有限公司CEO

向TA提问 私信TA
展开全部

操作方式有三种,一种是直接在网站后台进行设置(目前只有wordpress和Zblog程序才有这个功能),另一种就是通过上传robots文件即可,最后一种就是在服务器上面利用“网站安全狗”软件设置静止抓取的方式。

一、wordpress在程序里面设置的方式

1-登录wordpress网站后台

2-进入wordpress后台后,点击“设置”按钮

3-然后再点击“阅读”

4-然后找到“建议搜索引擎不索引本站点”前面的框框,然后勾选这个框框,然后点击“保存更改”即可

二、上传robots文件的方式

1-先在本地创建一个robots文件:robots.txt

2-然后在robots文件里面写入静止搜索引擎抓取的代码

3-写入完成后,然后通过FTP文件上传工具将robots.txt文件上传到网站的根目录中

三、利用服务器中的“网站安全狗”设置静止搜索引擎抓取

1-登录Windows系统的服务器,链接方式(windows+r或者安装一个安全狗-服云客户端)

2-进入Windows系统的服务器后,打开里面的“网站安全狗”软件,然后找到“IP黑白名单”,然后将“开启爬虫访问白名单”签名的勾去掉,然后点击保存即可!

通过以上的步骤就可以让搜索引擎不抓取网站的方式

优网
推荐于2016-11-03 · 十五年企业网络策划运营
优网
采纳数:8615 获赞数:28383

向TA提问 私信TA
展开全部
Robots.txt 是存放在站点根目录下的一个纯文本文件。
虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
使用方法:
Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。
例如:如果您的网站地址是 http://www.boaer.com/那么,该文件必须能够通过 http://www.boaer.com/robots.txt 打开并看到里面的内容。
格式:
User-agent:
用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"这样的记录只能有一条。
Disallow:
用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被Robot访问到。
举例:
例一:"Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。
例二:"Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。
例三:Disallow记录为空说明该网站的所有页面都允许被搜索引擎抓取,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎蜘蛛,该网站都是开放的可以被抓取的。
#:Robots.txt 协议中的注释符。
综合例子 :
例一:通过"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目录,以及 "/tmp/"目录和 /foo.html 文件,设置方法如下:
User-agent: *
Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html
例二:通过"/robots.txt"只允许某个搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允许名为"slurp"的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取 "/cgi/" 目录下的内容,设置方法如下:
User-agent: *
Disallow: /cgi/
User-agent: slurp
Disallow:
例三:禁止任何搜索引擎抓取我的网站,设置方法如下:
User-agent: *
Disallow: /
例四:只禁止某个搜索引擎抓取我的网站如:只禁止名为“slurp”的搜索引擎蜘蛛抓取,设置方法如下:
User-agent: slurp
Disallow: /
本回答被提问者和网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
岱岳妃74
2017-10-17 · 知道合伙人互联网行家
岱岳妃74
知道合伙人互联网行家
采纳数:6781 获赞数:6569
毕业于计算机网络技术推广,对互联网用着深刻的了解和研究,希望运用我所学的知道来帮助更多 的人。

向TA提问 私信TA
展开全部

方法:

  1. 首先,新建一个TXT文件。

  2. 之后,重命名为“robots.txt”,

  3. 最后,在记事本中编辑一下代码:

    User-agent: * 

    Disallow: / 

已赞过 已踩过<
你对这个回答的评价是?
评论 收起
天台的月光冷
2015-10-14 · TA获得超过8288个赞
知道小有建树答主
回答量:2986
采纳率:21%
帮助的人:632万
展开全部
目前看来,绝大多数的搜索引擎机器人都遵守robots.txt的规则,而对于Robots META标签,目前支持的并不多,但是正在逐渐增加,如著名搜索引擎GOOGLE就完全支持,而且GOOGLE还增加了一个指令“archive”,可以限制GOOGLE是否保留网页快照
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
道者为古今k
2015-06-12 · TA获得超过1.1万个赞
知道大有可为答主
回答量:1.8万
采纳率:0%
帮助的人:4202万
展开全部
在网站所有而面添加roobts.txt索引文件
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
收起 更多回答(4)
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式