Question

怎样成为优秀的大数据工程师？需要具备哪些技术？

Answer 1

大数据工程师有不少细分方向，不同的方向需要具备不同的知识结构，通常情况下大数据工程师分为四个具体的工作领域，分别是大数据底层平台研发、大数据应用开发、大数据分析和大数据运维，其中大数据平台研发工程师的数量占比较少，属于大数据领域的高端人才，往往从业者在研究生期间主攻的方向就是大数据平台研发。

大数据应用开发工程师是大数据领域一个比较热门的岗位，由于目前大数据正在处在落地应用的阶段，所以有大量的传统应用需要进行大数据改造，因此大数据应用开发岗位空敏有较多的人才需求。这个岗位需要掌握的知识结构包括大数据平台体系结构，比如目前常见的Hadoop、Spark平台，以及众多组件的功能和应用，另外还需要掌握至少一门编程语言，比如Java、Python、Scala等，这些编程语言是可以开发落地应用的。

大数据分析工程师是大数据领域非常重要的岗位，因为大数据的核心之一是数据价值化，而数据价值化的核心则在于数据的分析和应用，所以数据分析是大数据尺历应用的一个重点所在。大数据分析工程师需要掌握的知识结构包括算法设计、编程语言以及呈现工具，算法设计是大数据分析师需要掌握的重点内容，而编程语言的作用则是完成算法的实现。另外，大数据分析师还需要掌握一些常见的分析工具，比如一些陵亏搜常见的BI工具，在一些比较简单的场景下BI工具能完成大量的工作，并生成呈现界面。看一个使用Python中scipy库的应用：

大数据运维工程师的主要工作内容是搭建大数据平台、部署大数据功能组件、配置网络环境和硬件环境、维护大数据平台，大数据运维工程师需要具备的知识结构包括计算机网络、大数据平台体系结构、编程语言（编写运维脚本）等，通常情况下，大数据运维工程师也需要对数据库有深入的了解。

大数据是我的主要研究方向之一，目前我也在带大数据方向的研究生，我会陆续在头条写一些关于大数据方面的文章，感兴趣的朋友可以