想成为大数据开发工程师有哪些要求?
6个回答
展开全部
大数据所需技能要求
Python语言:编写一些脚本时会用到。
Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。
Ozie,azkaban:定时任务调度的工具。
Hue,Zepplin:图形化任务执行管理,结果查看工具。
Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。
必须掌握的技能:
Java高级(虚拟机、并发)、Linux 基本操作、hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)
高阶技能6条:
机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio
大数据开发工程师除具备专业的技能外,还要有学历(至少大专学历),学历是敲门砖。
Python语言:编写一些脚本时会用到。
Scala语言:编写Spark程序的最佳语言,当然也可以选择用Python。
Ozie,azkaban:定时任务调度的工具。
Hue,Zepplin:图形化任务执行管理,结果查看工具。
Allluxio,Kylin等:通过对存储的数据进行预处理,加快运算速度的工具。
必须掌握的技能:
Java高级(虚拟机、并发)、Linux 基本操作、hadoop(HDFS+MapReduce+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、辅助小工具(Sqoop/Flume/Oozie/Hue等)
高阶技能6条:
机器学习算法以及mahout库加MLlib、 R语言、Lambda 架构、Kappa架构、Kylin、Alluxio
大数据开发工程师除具备专业的技能外,还要有学历(至少大专学历),学历是敲门砖。
展开全部
想成为大数据开发工程师,在学历上最起码是个本科生,然后掌握了大数据开发的全套技能,精通hadoop生态圈spark全家桶。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
2021-09-13 · 百度知道合伙人官方认证企业
关注
展开全部
需要具备大专及以上文化程度、对数据挖掘、数据分析爱好者、软件开发公司技术人员,满足身体健康,有良好的思维和一定的综合素质。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
具备大专及以上文化程度、人工智能技术爱好者、人工智能公司技术人员。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
展开全部
有一定的能力
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询