Question

hadoop和spark是什么关系啊？

hadoop和Spark是什么关系？语言上有相同之处吗？搞hadoop的去搞spark有什么优势?

Answer 1

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
优势应该在于分布式架构比较相似能快速上手吧

追问

Spark是用什么语言实现的啊？我是学JavaEE，hadoop大数据的！

追答

Scala语言开发Spark
如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习

追问

hadoop会被Spark淘汰吗？

追答

呃，目前还短期内不会的吧

追问

我现在正在JavaEE+hadoop大数据，以后想往spark方向走，会不会绕远了啊？

追答

做程序你难免说今后总有一天这个程序不会被淘汰啊，哪个程序语言能够永远存留的，这个不可能。短期内（3年？）应该没问题，在这个同时，您也有足够的时间去学习新的，您认为更加优秀的程序语言，我觉得是可以的，目前我还看不出谁一定能把谁的市场全部吞掉。

Answer 2

Hadoop提供分布式数据存储功能HDFS，还提供了用于数据处理的MapReduce。 MapReduce是可以不依靠spark数据的处理的。当然spark也可以不依靠HDFS进行运作，它可以依靠其它的分布式文件系统。但是两者完全可以结合在一起，hadoop提供分布式 集群和分布式 文件系统，spark可以依附在hadoop的HDFS代替MapReduce弥补MapReduce计算能力不足的问题。
总结一句话：spark在hadoop肩膀上可以让大数据跑更快

Answer 3

Spark和Hadoop的架构区别：

Hadoop：MapRedcue由Map和Reduce两个阶段，并通过shuffle将两个阶段连接起来的。但是套用MapReduce模型解决问题，不得不将问题分解为若干个有依赖关系的子问题，每个子问题对应一个MapReduce作业，最终所有这些作业形成一个DAG。 

Spark：是通用的DAG框架，可以将多个有依赖关系的作业转换为一个大的DAG。核心思想是将Map和Reduce两个操作进一步拆分为多个元操作，这些元操作可以灵活组合，产生新的操作，并经过一些控制程序组装后形成一个大的DAG作业。