Question

(02)MapReduce与Spark的异同和优势比较

Answer 1

MapReduce与Spark相比，有哪些异同点

    1、基本原理上：

        a) MapReduce：基于磁盘的大数据批量处理系统。

        b) Spark：基于RDD（Resilient Distributed Datasets，弹性分布式数据集）数据处理，显式的将RDD数据存储到磁盘和内存中。

   2、模型上：

        a) MapReduce：可以处理超大规模的数据，适合日志分析挖掘等较少的迭代的长任务需求；结合了数据的分布式的计算。

        b) Spark：适合数据的挖掘，机器学习等多轮迭代式计算任务。

    3、容错性上：

        a) 数据容错性

        b) 节点容错性

        Spark Lineage，在数据发生丢失时，可以从Lineage上重构数据结构。