大数据技术有哪些
随着大数据分析市场迅速渗透到各行各业,大家对大数据的关注度也越来越高,大数据技术是什么?
1.Hadoop
Hadoop确实是现在着名的大数据技术.
从2003年到2004年,谷歌发表了GFS、Mapreduce和BigTable三篇技术论文(这几篇论文成为云计算、大数据领域发展的重要基础).
当时,由于公司破产在家的程序员DougCutting基于前两篇论文,开发了简化的山寨版GFS——HDFS和基于MapReduce的计算框架.这是Hadoop当初的版本.
之后,Cutting被Yahoo雇佣,依靠Yahoo的资源改善Hadoop,为Apache开源社区做出贡献.
简要说明Hadoop原理:数据分布式存储,运算程序分别发送到各数据节点进行运算(Map),合并各节点的运算结果(Reduce),产生结果.
对于移动TB级数据,计算程序一般为KB--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
在其诞生近十年来,Hadoop以其简单、易用、高效、免费、社区支持丰富等特点成为许多企业云计算、大数据实施的优先事项.
2.Storm
Hadoop很好,但有死穴.其一,其运算模式是批处理.这对许多有实时要求的业务没有很好的支持.