Question

如何设置让网站禁止被爬虫收录

Answer 1

1、网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。要启用一个新的域名做镜像网站，主要用于PPC的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在搜索引擎的权重。

2、屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫。

3、通过robots.txt文件屏蔽，可以说robots.txt文件是最重要的一种渠道（能和搜索引擎建立直接对话）。通过metatag屏蔽，在所有的网页头部文件添加，添加如下语句：。通过服务器（如：Linux/nginx）配置文件设置，直接过滤spider/robots的IP段。

logo设计

创造品牌价值

¥500元起

APP开发

量身定制，源码交付

¥2000元起

商标注册

一个好品牌从商标开始

¥1480元起

公司注册

注册公司全程代办

¥0元起

查

看

更

多

• 官方电话
• 官方服务
  • 官方网站
  • 八戒财税
  • 知识产权
  • 八戒服务商
  • 企业需求
  • 数字市场