Question

大数据只需要掌握hadoop吗

Answer 1

学习大数据肯定需要学习Hadoop技术，Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。

Hadoop学习之后，还得学习Spark，它是一种与 Hadoop 相似的开源集群计算环境，拥有Hadoop MapReduce所具有的优点，Spark是MapReduce的替代方案，而且兼容HDFS、Hive，可融入Hadoop的生态系统，以弥补MapReduce的不足。

这是大数据技术学习的两大重点。

Answer 2

如果只是应用Hadoop/Spark进行数据分析，那么JavaSE只需要基本了解就行了，重点在于深入理解Hadoop/Spark各自的计算模型和实现原理，以及常见的数据分析方法和分布式算法。实际的分析工作，甚至可以不使用java，使用各自的streaming接口用任意语言编写。另外，Spark与Hadoop不同，原生语言是Scala。

如果要深入学习两个框架的实现，阅读源代码的话，那肯定就得学习Java/Scala了，建议在掌握基础之后边看代码边查相应的语言特性。

对初学者，建议还是从应用入手，在使用的过程中，自然地一步步了解实现。