网站哪些内容需要通过robots.txt文件禁止搜索引擎抓取
展开全部
通常网站的登录页、注册页、网站后台地址、网站测试页、联系我们（边框QQ）等。您只要想明白一点就可以，那就是哪些内容让搜索引擎抓取是没有意义的，那你就用robots.txt文件禁止搜索引擎抓取。
希望我的回答能帮助到您，也希望您能采纳，谢谢！
希望我的回答能帮助到您，也希望您能采纳，谢谢！
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
一些相对来说机密的数据，比如：你网站后台数据、网站后台地址，你一些测试的内容，不想被蜘蛛爬行的，都可以写进去（好像写了，百度还是会抓取的），
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
robots文件主要是控制搜索引擎抓取一些重要的或者有问题的网页，不要抓取的主要有后台路径、错误文件、公司内部页面及一些不想在互联网显示的但输入网址能还可以看到的网页。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
简单一点就是你的网站不想百度抓取的内容，就用robots文件进行禁止抓取。
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
更多回答（3）
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
