Question

hadoop的核心是什么

Answer 1

Hadoop是一个开源框架，用于以分布式方式存储和处理大数据。Hadoop的核心组件是 -

• HDFS（Hadoop分布式文件系统） - HDFS是Hadoop的基本存储系统。在商用硬件集群上运行的大型数据文件存储在HDFS中。即使硬件出现故障，它也能以可靠的方式存储数据。

• Hadoop MapReduce - MapReduce是负责数据处理的Hadoop层。它编写了一个应用程序来处理存储在HDFS中的非结构化和结构化数据。它负责通过将数据划分为独立任务来并行处理大量数据。处理分两个阶段完成Map和Reduce。Map是指定复杂逻辑代码的第一个处理阶段，Reduce是指定轻量级操作的第二阶段处理。

• YARN - Hadoop中的处理框架是YARN。它用于资源管理并提供多种数据处理引擎，即数据科学，实时流和批处理。