Question

2分钟读懂大数据框架Hadoop和Spark的异同

Answer 1

Hadoop和Spark都是集群并行计算框架，都可以做分布式计算，它们都基于MapReduce并行模型。

Hadoop基于磁盘计算，只有map和reduce两种算子，它在计算过程中会有大量中间结果文件落地磁盘，这会显著降低运行效率。

而Spark基于内存计算（一个task会在一个分片上以流水线的形式执行，中间不会再分配内存，避免内存被快速用完），非常适合做机器学习中的迭代计算（可以通过将RDD缓存在内存中）；同时它提供非常多的算子（flatMap、reduceByKey、join等等），方便我们开发；另外，Spark提供一站式的数据分析工具，包括流计算的Streaming，图计算的GraghX，数据仓库的Spark SQL和机器学习的MlLib。