Question

大数据学习都需要掌握哪些知识？

Answer 1

我们在前文中给大家简单介绍了关于大数据运维师的一些基本技能需求的内容。下面我们就一起来了解一下，在学习大数据的时候不同学习阶段都需要了解哪些知识。

数据存储阶段：SQL，oracle，IBM等等都有相关的课程，天通苑java课程培训机构建议根据公司的不同，学习好这些企业的开发工具，基本可以胜任此阶段的职位。

数据挖掘清洗筛选：大数据工程师，要学习JAVA，Linux，SQL，Hadoop，数据序列化系统Avro，数据仓库Hive，分布式数据库HBase，数据仓库Hive，Flume分布式日志框架，Kafka分布式队列系统课程，Sqoop数据迁移，pig开发，Storm实时数据处理。学会以上基本可以入门大数据工程师，如果想有一个更好的起点，建议前期学习scala编程，Spark，R语言等基本现在企业里面更专业的技能。

数据分析：一方面是搭建数据分析框架，比如确定分析思路需要营销、管理等理论知识;还有针对数据分析结论提出有指导意义的分析建议。

产品调整：经过分析后的数据交由老板和PM经过协商后进行产品的更新，然后交由程序员进行修改(快消类进行商品的上下架调整)。

接着再来了解大数据需要掌握那些技术

Hadoop核心

(1)分布式存储基石：HDFS

HDFS简介入门演示构成及工作原理解析：数据块，NameNode,DataNode、数据写入与读取过程、数据复制、HA方案、文件类型、HDFS常用设置JavaAPI代码演示

(2)分布式计算基础：MapReduce

MapReduce简介、编程模型、JavaAPI介绍、编程案例介绍、MapReduce调优

(3)Hadoop集群资源管家：YARN

YARN基本架构资源调度过程调度算法YARN上的计算框架

离线计算

(1)离线日志收集利器：Flume

Flume简介核心组件介绍Flume实例：日志收集、适宜场景、常见问题。

(2)离线批处理必备工具：Hive

Hive在大数据平台里的定位、总体架构、使用场景之AccessLog分析HiveDDL&DML介绍视图函数(内置，窗口，自定义函数)表的分区、分桶和抽样优化。