网站不想让搜索引擎抓取怎么做？
网站robots.txt设置好即可
怎么写Robots.txt文件？
遵循语法的Robots.txt才可能被机器人识别，至于语法，介绍起来很繁琐，现简单举例如下：
1）禁止所有搜索引擎访问网站的任何部分（也就是网站彻底的拒绝所有搜索引擎收录）
User-agent: *
Disallow: /
2）允许所有的robot访问（也就是网站允许所有搜索引擎收录）
User-agent: *
Disallow:
3）禁止某个搜索引擎的访问（比如禁止百度收录，按如下的方式写）
User-agent: baiduspider
Disallow: /
4）允许某个搜索引擎的访问（比如允许百度收录，按如下的方式写）
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
5）禁止搜索引擎访问某些目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /images/
使用方法：很简单，将代码存为一个文本文件，命名为Robots.txt ，放在网页根目录即可。
网站排名优化小课堂
1、新建一个命名为“robots”的文本文件，robots文件是搜索引擎和网站之间的一个协议。
2、设置搜索引擎和网站之间的协议，User-agent:*表示和所有搜索引擎协议适用；Disallow:/表示禁止抓取收录全站。
3、如果只是禁止某一个搜索引擎抓取收录网站的某一个目录，比如要禁止百度抓取收录jinzhi目录，则如图设置。
4、保存文件后，把文件上传到服务器根目录，即表示搜索引擎和网站之间的协议生效，可以禁止搜索引擎抓取收录网站内容。
5、除了设置robots协议之外，还可以在网页代码里面设置。在网页<head></head>之间加入<meta name="robots" content="noarchive">代码。表示紧致所有搜索引擎抓取网站和显示快照。
6、如果要针对某一个搜索引擎禁止抓取，在网页<head></head>之间加入<meta name="baidspider" content="noarchive">代码，表示禁止百度抓取，<meta name="googlebot" content="noarchive">表示禁止谷歌抓取，其他的搜索引擎一样原理。
|
广告 您可能关注的内容 |
