Question

请问大数据的关键技术有哪些？

Answer 1

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。
智能职涯（bigdata-job)总结了大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。

Answer 2

　　第一，数据采集
　　ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
　　第二，数据存取
　　关系数据库、NOSQL、SQL等。
　　第三，基础架构
　　云存储、分布式文件存储等。
　　第四，数据处理
　　自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
　　第五，统计分析
　　假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。
　　第六，数据挖掘
　　分类 (Classification)、估计(Estimation)、预测(Prediction)、相关性分组或关联规则(Affinity grouping or association rules)、聚类(Clustering)、描述和可视化、Description and Visualization)、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)。
　　第七，模型预测
　　预测模型、机器学习、建模仿真。
　　第八，结果呈现
　　云计算、标签云、关系图等。

Answer 3

大数据的关键技术:

1. 分布式存储系统(HDFS)。

2. 2.MapReduce分布式计算框架。

3. 3.YARN资源管理平台。

4. 4.Sqoop数据迁移工具。

5. 5.Mahout数据挖掘算法库。

6. 6.HBase分布式数据库。

7. 7.Zookeeper分布式协调服务。

8. 8.Hive基于Hadoop的数据仓库。

9. 9.Flume日志收集工具。

   ......