Question

hadoop 的作用

Answer 1

1、Hadoop的最常见用法之一是Web搜索。它将 Web爬行器检索到的文本 Web 页面作为输入，并且将这些页面上的单词的频率报告作为结果。然后可以在整个 Web 搜索过程中使用这个结果从已定义的搜索参数中识别内容。

2、Hadoop的框架最核心的应用就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

3、Hadoop实现了一个分布式文件系统，它设计用来部署在低廉的硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。

扩展资料

作为分布式计算领域的典型代表，Hadoop比其他分布式框架有更多的特点：

1、可靠性：Hadoop的分布式文件系统将数据分块储存，每个数据块在集群节点上依据一定的策略冗余储存，确保能够针对失败的节点重新分布处理，从而保证了数据的可靠性。

2、简单性：Hadoop实现了简单并行编程模式，用户不需要了解分布式存储和计算的底层细节即可编写和运行分布式应用，在集群上处理大规模数据集，所以使用Hadoop的用户可以轻松搭建自己的分布式平台。

3、高效性：Hadoop的分布式文件系统具有高效的数据交互设计，可以通过并行处理加快处理速度。Hadoop还是可伸缩的，能够在节点间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

参考资料来源：百度百科-Hadoop