新建的网站，这个robots是什么意思？
1个回答
展开全部
1、网站开放给所有搜索引擎爬虫抓取（User-agent:*）
2、禁止所有爬虫程序抓取根目录下的caches目录（Disallow:/caches）
新站收录本身没有那么快，可尝试加入百度站长平台，利用官方工具提交网站Sitemap文件。可在一定程度上加快收录速度。
检测网站是否存在影响爬虫程序抓取的“陷进”，比如框架结构、JS文件等，培养良好的内容更新习惯，让爬虫程序每次来的时候都有新的内容产生。
logo设计
创造品牌价值
¥500元起
APP开发
量身定制，源码交付
¥2000元起
商标注册
一个好品牌从商标开始
¥1480元起
公司注册
注册公司全程代办
¥0元起
查
看
更
多
- 官方电话
-
官方服务
- 官方网站
- 八戒财税
- 知识产权
- 八戒服务商
- 企业需求
- 数字市场
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
