百度谷歌的爬虫是用什么语言开发的
2个回答
展开全部
每个网站都有一个“爬虫协议”，至少大型网站都会有。Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（RobotsExclusionProtocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓龋越是大型网站，
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
柚鸥ASO
2024-03-16 广告
「柚鸥ASO」在ASO这块就做的蛮不错的,一直专注于应用商店优化,因为专注所以专业;专注应用商店下载量优化、评分优化、关键词排名优化、关键词覆盖、产品权重提升等等整体方案优化服务柚鸥网络-全球ASO优化服务商专注ASO优化已11年！（效果说...
点击进入详情页
本回答由柚鸥ASO提供
展开全部
python,java
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
