Question

hadoop为什么要从1.x升到2.x

Answer 1

Hadoop从1.x升级到2.x的主要原因是为了提高系统的性能和可靠性。具体来说，Hadoop 2.x引入了YARN (Yet Another Resource Negotiator)资源调度器，这是一个全新的架构，用于控制资源管理和作业调度。

在Hadoop 1.x中，MapReduce是整个系统的核心，它负责数据的计算和处理。但是，MapReduce的缺点是它只能处理批处理任务，并且难以处理多种类型的工作负载。此外，Hadoop 1.x还存在单点故障和资源利用率低的问题。

为了解决这些问题，Hadoop 2.x引入了YARN，它将资源管理和作业调度分离。这使得Hadoop可以同时处理批处理、交互式和实时工作负载，并且可以更好地管理资源，提高资源利用率。此外，YARN还能够提供更好的容错能力，减少单点故障的风险。

在Hadoop 2.x中，除了YARN的引入外，还有其他一些重要的新功能，如支持HDFS的高可用性、支持分层存储、支持跨数据中心的复制等等。这些新功能和改进都使Hadoop更加强大和灵活，使其能够更好地应对大数据处理的挑战。

总的来说，Hadoop从1.x升级到2.x是为了提高系统的性能、可靠性和灵活性，使其能够更好地应对不断增长的大数据处理需求。

Answer 2

Hadoop从1.x升级到2.x是为了解决一些在1.x版本中存在的问题，并进一步改进和增强系统的功能。

具体来说，Hadoop 2.x引入了"Yet Another Resource Negotiator (YARN)"，这是一个新的资源管理器，用于管理和分配集群中的计算资源。在1.x版本中，Hadoop采用了MapReduce作为计算引擎，并将资源管理器和计算引擎紧密耦合在一起。这限制了Hadoop的灵活性和可扩展性。

通过引入YARN，Hadoop 2.x将资源管理和计算引擎进行了解耦，从而使得用户可以更加灵活地使用Hadoop集群来处理各种类型的工作负载。此外，Hadoop 2.x还增强了对非批处理工作负载的支持，如流处理和交互式查询。

另外，Hadoop 2.x还改进了HDFS(Hadoop分布式文件系统)的可用性和可靠性。它引入了诸如NameNode HA(高可用)和HDFS Federation(联邦式HDFS)等功能，以提高系统的可用性和可靠性。

总之，Hadoop从1.x升级到2.x是为了解决1.x版本中存在的问题，并进一步增强系统的功能和灵活性。这样用户可以更好地利用Hadoop集群来处理各种类型的工作负载，提高集群的可用性和可靠性。