Question

Hadoop，Hive，Spark 之间是什么关系

Answer 1

用hadoop -> hive ->spark ->报表工具(brio)的架构打通数据通路之后，做数据分析会变得非常简单（just like 图形化开发-拖拉拽）。
在构建spark离线数据分析平台之前，先简单说明传统的离线数据分析平台。

传统离线数据分析工作，一般把数据结构化存储在RDBMS，可通过SQL代码、报表工具、挖掘工具快速对数据进行分析。因为数据进行了结构化，进行数据分析时，可专注于业务过程。此模式最大的问题在于机器和软件成本高，性能提升不能横向扩展。

为了降低机器和软件的投入，解决性能的横向扩展问题，Hadoop、spark得以长足发展。目前介绍spark做数据分析的课程，多数是介绍spark做计算引擎，hadoop做数据存储，用Java或者Scala进行分析数据工作。在实际应用中，这种做法会导致编码量急剧上升，分析人员无法专注于业务，容易形成业务和技术的疲于应对。

为了简化数据分析工作，需要加强对数据规范化的工作，为此，引入hive做数据结构化管理，开启spark-thrift的ODBC/JDBC接口，数据分析工具（报表工具/挖掘工具）通过ODBC/JDBC接入。此架构的压力在于数据规范化过程，或者说是日常数据加工过程，需以spark-sql、h-sql作为开发基础，开发通用java接口模板调用spark-sql生成数据，h-sql负责数据入库。此方法执行效率不是最高，但数据处理方法是规范了，降低了日常开发难度（以SQL编程为主），同时减少开发人员水平不一致导致的技术问题，另外数据分析人员可透明的使用数据进行分析(无需关心数据来源于RDBMS还是SPARK)。

Answer 2

Spark已经取代Hadoop成为最活跃的开源大数据项目，但是，在选择大数据框架时，企业不能因此就厚此薄彼

近日，著名大数据专家Bernard Marr在一篇文章中分析了Spark和 Hadoop 的异同

Hadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具，但确切地说，它们所执行的任务并不相同，彼此也并不排斥

虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分布式存储系统

而分布式存储是如今许多大数据项目的基础，它可以将 PB 级的数据集存储在几乎无限数量的普通计算机的硬盘上，并提供了良好的可扩展性，只需要随着数据集的增大增加硬盘

因此，Spark需要一个第三方的分布式存储，也正是因为这个原因，许多大数据项目都将Spark安装在Hadoop之上，这样，Spark的高级分析应用程序就可以使用存储在HDFS中的数据了

与Hadoop相比，Spark真正的优势在于速度，Spark的大部分操作都是在内存中，而Hadoop的MapReduce系统会在每次操作之后将所有数据写回到物理存储介质上，这是为了确保在出现问题时能够完全恢复，但Spark的弹性分布式数据存储也能实现这一点

另外，在高级数据处理（如实时流处理、机器学习）方面，Spark的功能要胜过Hadoop

在Bernard看来，这一点连同其速度优势是Spark越来越受欢迎的真正原因

实时处理意味着可以在数据捕获的瞬间将其提交给分析型应用程序，并立即获得反馈

在各种各样的大数据应用程序中，这种处理的用途越来越多，比如，零售商使用的推荐引擎、制造业中的工业机械性能监控

Spark平台的速度和流数据处理能力也非常适合机器学习算法，这类算法可以自我学习和改进，直到找到问题的理想解决方案

这种技术是最先进制造系统（如预测零件何时损坏）和无人驾驶汽车的核心

Spark有自己的机器学习库MLib，而Hadoop系统则需要借助第三方机器学习库，如Apache Mahout

实际上，虽然Spark和Hadoop存在一些功能上的重叠，但它们都不是商业产品，并不存在真正的竞争关系，而通过为这类免费系统提供技术支持赢利的公司往往同时提供两种服务

例如，Cloudera 就既提供 Spark 服务也提供 Hadoop服务，并会根据客户的需要提供最合适的建议

Bernard认为，虽然Spark发展迅速，但它尚处于起步阶段，安全和技术支持基础设施方还不发达，在他看来，Spark在开源社区活跃度的上升，表明企业用户正在寻找已存储数据的创新用法