禁止某二级域名的抓取,robots如何写
比如网站是123.com,创建了一个子玉米是abc.123.com,这个站不想在搜索123.COM的时候被搜索到,也不想被搜索引擎收录,该如何操作,robots.TXT,...
比如网站是123.com ,创建了一个子玉米是abc.123.com,这个站不想在搜索123.COM的时候被搜索到,也不想被搜索引擎收录,该如何操作,robots.TXT,如何写
展开
2个回答
展开全部
首先，你要明白robots文件怎么写！一般允许抓取的话是
allow：/www/xxx/
如果是不允许的话就是:disallow:/www/xxxx/
你如果想禁用你的二级网站的话，只需要禁用二级网站所在的文件夹就好了！例如，你的二级网站所在的文件夹是/erji/
那么，你就可以在robots加入：
disallow:/www/erji/ 就可以了！
allow：/www/xxx/
如果是不允许的话就是:disallow:/www/xxxx/
你如果想禁用你的二级网站的话，只需要禁用二级网站所在的文件夹就好了！例如，你的二级网站所在的文件夹是/erji/
那么，你就可以在robots加入：
disallow:/www/erji/ 就可以了！
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
Storm代理
2023-07-25 广告
StormProxies是一家提供动态代理服务器服务的企业，旨在帮助用户更好地管理网络访问和安全。以下是一些关于StormProxies的IP动态代理服务的特点：1. 高匿名性：StormProxies的动态代理服务器具有高匿名性，可以有效...
点击进入详情页
本回答由Storm代理提供
展开全部
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
Disallow: /
User-agent: baiduspider
Disallow: /
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
|
广告 您可能关注的内容 |
