wordpress系统本身是对搜索引擎友好的,如果网站的内容比较私密不希望蜘蛛爬取,可以能过以下方法实现:
1、进入wordpress "设置" -> "阅读" -> 然后勾选“建议搜索引擎不索引本站点”,再点击 “保存更改”。这样搜索引擎就不会收录和索引网站了。
2、还可以通过配置“robots.txt”来告诉搜索引擎,不要收录/索引网站的内容;
步骤:
1),新建一个文本文档,重命名为“robots.txt”;
2),在文本文件贴入以下内容并保存:
User-agent: *
Disallow: /
3),将设置好的“robots.txt”上传至网站的根目录。