Question

学习大数据框架前，单就Java而言，需要掌握哪些知识以及掌握到什么程度？

如题。对于Hadoop/Spark大数据方向，Java是不是只需要JavaSE的知识，并且JavaSE的知识哪些需要重点研究，哪些可以忽略？例如多线程是不是重点，而GUI则可以忽略，I/O流、网络编程、数据库等等又当如何？另外，Java虚拟机JVM需不需要另行研究？请正在学习Hadoop/Spark或者工作方向为Hadoop/Spark的同学详细解答一下。

Answer 1

如果只是应用Hadoop/Spark进行数据分析，那么JavaSE只需要基本了解就行了，重点在于深入理解Hadoop/Spark各自的计算模型和实现原理，以及常见的数据分析方法和分布式算法。实际的分析工作，甚至可以不使用java，使用各自的streaming接口用任意语言编写。另外，Spark与Hadoop不同，原生语言是Scala。

如果要深入学习两个框架的实现，阅读源代码的话，那肯定就得学习Java/Scala了，建议在掌握基础之后边看代码边查相应的语言特性。

对初学者，建议还是从应用入手，在使用的过程中，自然地一步步了解实现。