如何阻止百度baidu爬虫和谷歌蜘蛛抓取网站内容
3个回答
展开全部
如果不希望百度或 Google抓取网站内容，就需要在服务器的根目录中放入一个 robots.txt 文件，其内容如下：
User-Agent: *
Disallow: /
这是大部份网络漫游器都会遵守的标准协议，加入这些协议后，它们将不会再漫游您的网络服务器或目录。
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
实例分析：淘宝网的 Robots.txt文件
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
网站robots的情况，可以使用百度站长工具进行查询。http://zhanzhang.baidu.com/robots/index
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
整个网站不给爬虫抓取内容
robots.txt
User-agent: *
Disallow: /
网站单页阻止多数爬虫，在header中置入
<meta name="robots" content="noindex">
网站单页阻止谷歌爬虫，在header中置入
<meta name="googlebot" content="noindex">
robots.txt
User-agent: *
Disallow: /
网站单页阻止多数爬虫，在header中置入
<meta name="robots" content="noindex">
网站单页阻止谷歌爬虫，在header中置入
<meta name="googlebot" content="noindex">
本回答被提问者和网友采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
可以用采集工具去抓取网页数据
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
