Question

大数据技术有哪些

Answer 1

随着大数据分析市场迅速渗透到各行各业，大家对大数据的关注度也越来越高，大数据技术是什么？

1.Hadoop

Hadoop确实是现在着名的大数据技术.

从2003年到2004年，谷歌发表了GFS、Mapreduce和BigTable三篇技术论文(这几篇论文成为云计算、大数据领域发展的重要基础).

当时，由于公司破产在家的程序员DougCutting基于前两篇论文，开发了简化的山寨版GFS——HDFS和基于MapReduce的计算框架.这是Hadoop当初的版本.

之后，Cutting被Yahoo雇佣，依靠Yahoo的资源改善Hadoop，为Apache开源社区做出贡献.

简要说明Hadoop原理:数据分布式存储，运算程序分别发送到各数据节点进行运算(Map)，合并各节点的运算结果(Reduce)，产生结果.

对于移动TB级数据，计算程序一般为KB--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

在其诞生近十年来，Hadoop以其简单、易用、高效、免费、社区支持丰富等特点成为许多企业云计算、大数据实施的优先事项.

2.Storm

Hadoop很好，但有死穴.其一，其运算模式是批处理.这对许多有实时要求的业务没有很好的支持.