Question

大数据分析的工具有哪些?

大数据分析的工具有：1、Hadoop；2、HPCC；3、Storm；4、Apache Drill；5、RapidMiner；6、Pentaho BI。

Answer 1

1、Hadoop

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能计算与通信)的缩写。1993年，由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目：高性能计算与 通信”的报告，也就是被称为HPCC计划的报告，即美国总统科学战略项目，其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划，该计划的实施将耗资百亿美元，其主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

3、Storm

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm很简单，支持许多种编程语言，使用起来非常有趣。

4、Apache Drill

为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google's Dremel.

据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目来运作，将面向全球软件工程师持续推广。

5、RapidMiner

RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

6、Pentaho BI

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。

Answer 2

　　一，rapidminer，在全世界的范围内，它算是一个比较领先的数据挖掘解决方案，之所以它会得到大家的推崇和认可，跟它有先进技术作为依托有一定关系，它涉及的范围很广，许多行家在受访过程中纷纷表示，总是用它来简化数据挖掘过程中的一些设计和评价。
　　二，Hpcc，它是为了加快信息高速路而安排的一个计划，据悉，该计划一共投入了百亿美元的资金，前期研发的目的是为了开发可扩展的软件和系统，希望以此来开发有着千兆比特的网络技术，因为它的传输能力极强，所以被应用于大数据分析中。
　　三，Hadoop，现在许多大数据分析新人都喜欢用hadoop来直接代表大数据分析，可见它是很重要的，之所以它会得到大众的推崇和认可，其中一个原因就是它先预设了计算元素、存储可能失败的前提，然后通过多角度切入去确保这些可能被有效控制，不出现。
　　四，Pentaho
bi，它跟传统的bi产品存在很大的差别，它是一个框架，该框架是以流程作为中心的，以中心作为基础向外辐射再面向解决方案。Pentaho bi给大数据分析带来了改革性的改变，它的问世让quartz、jfree等独立产品有了被集中的可能性，还能以此作为基础为复杂的商务智能工作提供有效方案。
　　以上四种工具属于大数据分析岗必备的工具，需要做到灵活、流畅使用才可以。