SEO问题:百度提示,网站的重要目录对百度进行了封禁,Baiduspider无法抓取这些目录
我的robots是这样写的#robots.txtgeneratedathttp://tool.chinaz.com/robots/User-agent:*Disallow...
我的robots是这样写的
# robots.txt generated at http://tool.chinaz.com/robots/
User-agent: *
Disallow: /bin/
Disallow: /Script/
Disallow: /Content/
Sitemap: http://www.srtlube.com/sitemap.xml
Sitemap: http://www.srtlube.com/sitemap.html
Sitemap: http://www.srtlube.com/sitemap.txt
重要的目录,不知道是什么意思? 展开
# robots.txt generated at http://tool.chinaz.com/robots/
User-agent: *
Disallow: /bin/
Disallow: /Script/
Disallow: /Content/
Sitemap: http://www.srtlube.com/sitemap.xml
Sitemap: http://www.srtlube.com/sitemap.html
Sitemap: http://www.srtlube.com/sitemap.txt
重要的目录,不知道是什么意思? 展开
展开全部
重要目录指的是你网站的站点文件夹,就是这个
Disallow: /bin/
Disallow: /Script/
Disallow: /Content/
这个你不用管,这些东西本来就是不允许百度抓取得,大家都是这样做的。只要百度可以正常抓取你的页面就ok了。
如果还是不明白你可以 搜索===阿峰SEO===第一个站是我的,你模仿我的站的robots.txt写法。
Disallow: /bin/
Disallow: /Script/
Disallow: /Content/
这个你不用管,这些东西本来就是不允许百度抓取得,大家都是这样做的。只要百度可以正常抓取你的页面就ok了。
如果还是不明白你可以 搜索===阿峰SEO===第一个站是我的,你模仿我的站的robots.txt写法。
本回答被网友采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
这个没什么。robots是正常的。。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询