网站目录robotx.txt如何设置只允许搜索引擎蜘蛛访问
robotx.txt大家都知道是用来屏蔽搜索引擎蜘蛛爬行用的，可是却容易被人随便看到，有什么办法可以只允许搜索蜘蛛爬行，而不让普通人可以随便看到那个文件呢。在虚拟主机控制...
robotx.txt大家都知道是用来屏蔽搜索引擎蜘蛛爬行用的，可是却容易被人随便看到，有什么办法可以只允许搜索蜘蛛爬行，而不让普通人可以随便看到那个文件呢。在虚拟主机控制面板里面有个文件保护功能，可是用了这个后就连蜘蛛都不能爬行了，那对那个文件就无效用啦~，如何真正解决的这个问题
展开
展开全部
这个其实也没有什么，我的robots.txt文件就可以随便看，我自己觉得这样没有什么吧，大多数的这个都是一样的写的，不用太在意了
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
