常用的大数据分析软件有哪些?

 我来答
匿名用户
2019-11-22
展开全部

  大数据分析是一个含义广泛的术语,是指数据集,如此庞大而复杂的,他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。这些数据集收集自各种各样的来源:传感器,气候信息,公开的信息,如杂志,报纸,文章。大数据分析产生的其他例子包括购买交易记录,网络日志,病历,军事监控,视频和图像档案,及大型电子商务。

  大数据分析,他们对企业的影响有一个兴趣高涨。大数据分析是研究大量的数据的过程中寻找模式,相关性和其他有用的信息,可以帮助企业更好地适应变化,并做出更明智的决策。

一、Hadoop

  Hadoop是一个开源框架,它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展,每一个台机都可以提供本地计算和存储。

  Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,即使计算元素和存储会失败,它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop是高效的,它采用并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

请点击输入图片描述

  Hadoop是轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

  1、高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

  2、高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

  3、高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

  4、高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

  Hadoop带有用 Java 语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。

二、HPCC

  HPCC,High Performance Computing and Communications(高性能计算与通信)的缩写。1993年,由美国科学、工程、技术联邦协调理事会向国会提交了"重大挑战项目:高性能计算与通信"的报告,也就是被称为HPCC计划的报告,即美国总统科学战略项目,其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国实施信息高速公路而上实施的计划,该计划的实施将耗资百亿美元,其主要目标要达到:开发可扩展的计算系统及相关软件,以支持太位级网络传输性能,开发千兆比特网络技术,扩展研究和教育机构及网络连接能力。

请点击输入图片描述

  该项目主要由五部分组成:

  1、高性能计算机系统(HPCS),内容包括今后几代计算机系统的研究、系统设计工具、先进的典型系统及原有系统的评价等;

  2、先进软件技术与算法(ASTA),内容有巨大挑战问题的软件支撑、新算法设计、软件分支与工具、计算计算及高性能计算研究中心等;

  3、国家科研与教育网格(NREN),内容有中接站及10亿位级传输的研究与开发;

  4、基本研究与人类资源(BRHR),内容有基础研究、培训、教育及课程教材,被设计通过奖励调查者-开始的,长期的调查在可升级的高性能计算中来增加创新意识流,通过提高教育和高性能的计算训练和通信来加大熟练的和训练有素的人员的联营,和来提供必需的基础架构来支持这些调查和研究活动;

  5、信息基础结构技术和应用(IITA ),目的在于保证美国在先进信息技术开发方面的领先地位。

三、Storm

  Storm是一个免费开源、分布式、高容错的实时计算系统。Storm令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm经常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的。

请点击输入图片描述

  Storm是自由的开源软件,一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流,用于处理Hadoop的批量数据。Storm很简单,支持许多种编程语言,使用起来非常有趣。Storm由Twitter开源而来,其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。

  Storm有许多应用领域:实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议,一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写,即数据抽取、转换和加载)等等。Storm的处理速度惊人:经测试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。

四、Apache Drill

  为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法,Apache软件基金会近日发起了一项名为"Drill"的开源项目。Apache Drill 实现了Google’s Dremel。"Drill"已经作为Apache孵化器项目来运作,将面向全球软件工程师持续推广。

请点击输入图片描述

  该项目将会创建出开源版本的谷歌Dremel Hadoop工具(谷歌使用该工具来为Hadoop数据分析工具的互联网应用提速)。而"Drill"将有助于Hadoop用户实现更快查询海量数据集的目的。

  "Drill"项目其实也是从谷歌的Dremel项目中获得灵感:该项目帮助谷歌实现海量数据集的分析处理,包括分析抓取Web文档、跟踪安装在Android Market上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

  通过开发"Drill"Apache开源项目,组织机构将有望建立Drill所属的API接口和灵活强大的体系架构,从而帮助支持广泛的数据源、数据格式和查询语言。

五、RapidMiner

  RapidMiner提供机器学习程序。而数据挖掘,包括数据可视化,处理,统计建模和预测分析。

  RapidMiner是世界领先的数据挖掘解决方案,在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛,包括各种数据艺术,能简化数据挖掘过程的设计和评价。

请点击输入图片描述

  功能和特点

  免费提供数据挖掘技术和库;100%用Java代码(可运行在操作系统);数据挖掘过程简单,强大和直观;内部XML保证了标准化的格式来表示交换数据挖掘过程;可以用简单脚本语言自动进行大规模进程;多层次的数据视图,确保有效和透明的数据;图形用户界面的互动原型;命令行(批处理模式)自动大规模应用;Java API(应用编程接口);简单的插件和推广机制;强大的可视化引擎,许多尖端的高维数据的可视化建模;400多个数据挖掘运营商支持;耶鲁大学已成功地应用在许多不同的应用领域,包括文本挖掘,多媒体挖掘,功能设计,数据流挖掘,集成开发的方法和分布式数据挖掘。RapidMiner的局限性;RapidMiner 在行数方面存在大小限制;对于RapidMiner,您需要比ODM和SAS更多的硬件资源。

六、Pentaho BI

  Pentaho BI 平台不同于传统的BI 产品,它是一个以流程为中心的,面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来,方便商务智能应用的开发。它的出现,使得一系列的面向商务智能的独立产品如Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。

请点击输入图片描述

  Pentaho BI 平台,Pentaho Open BI 套件的核心架构和基础,是以流程为中心的,因为其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在BI 平台上执行的商业智能流程。流程可以很容易的被定制,也可以添加新的流程。BI 平台包含组件和报表,用以分析这些流程的性能。目前,Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过 J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。 Pentaho的发行,主要以Pentaho SDK的形式进行。

  Pentaho SDK共包含五个部分:Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的 Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分,囊括了Pentaho平台源代码的主体;Pentaho数据库为 Pentaho平台的正常运行提供的数据服务,包括配置信息、Solution相关的信息等等,对于Pentaho平台来说它不是必须的,通过配置是可以用其它数据库服务取代的;可独立运行的Pentaho平台是Pentaho平台的独立运行模式的示例,它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行;

  Pentaho解决方案示例是一个Eclipse工程,用来演示如何为Pentaho平台开发相关的商业智能解决方案。

  Pentaho BI 平台构建于服务器,引擎和组件的基础之上。这些提供了系统的J2EE 服务器,安全,portal,工作流,规则引擎,图表,协作,内容管理,数据集成,分析和建模功能。这些组件的大部分是基于标准的,可使用其他产品替换之。

七、Druid

  Druid是实时数据分析存储系统,Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。

请点击输入图片描述

八、Ambari

  大数据平台搭建、监控利器;类似的还有CDH

  1、提供Hadoop集群

  Ambari为在任意数量的主机上安装Hadoop服务提供了一个逐步向导。

  Ambari处理集群Hadoop服务的配置。

  2、管理Hadoop集群

  Ambari为整个集群提供启动、停止和重新配置Hadoop服务的中央管理。

  3、监视Hadoop集群

  Ambari为监视Hadoop集群的健康状况和状态提供了一个仪表板。

请点击输入图片描述

九、Spark

  大规模数据处理框架(可以应付企业中常见的三种数据处理场景:复杂的批量数据处理(batch data processing);基于历史数据的交互式查询;基于实时数据流的数据处理,Ceph:Linux分布式文件系统。

请点击输入图片描述

十、Tableau Public

  1、什么是Tableau Public - 大数据分析工具

  这是一个简单直观的工具。因为它通过数据可视化提供了有趣的见解。Tableau Public的百万行限制。因为它比数据分析市场中的大多数其他玩家更容易使用票价。使用Tableau的视觉效果,您可以调查一个假设。此外,浏览数据,并交叉核对您的见解。

  2、Tableau Public的使用

  您可以免费将交互式数据可视化发布到Web;无需编程技能;发布到Tableau Public的可视化可以嵌入到博客中。此外,还可以通过电子邮件或社交媒体分享网页。共享的内容可以进行有效硫的下载。这使其成为最佳的大数据分析工具。资深讲师分享大数据分析师职业规划 

  3、Tableau Public的限制

  所有数据都是公开的,并且限制访问的范围很小;数据大小限制;无法连接到[R ;读取的唯一方法是通过OData源,是Excel或txt。

十一、OpenRefine

  1、什么是OpenRefine - 数据分析工具

  以前称为GoogleRefine的数据清理软件。因为它可以帮助您清理数据以进行分析。它对一行数据进行操作。此外,将列放在列下,与关系数据库表非常相似。

  2、OpenRefine的使用

  清理凌乱的数据;数据转换;从网站解析数据;通过从Web服务获取数据将数据添加到数据集。例如,OpenRefine可用于将地址地理编码到地理坐标。

  3、OpenRefine的局限性

  Open Refine不适用于大型数据集;精炼对大数据不起作用

十二、KNIME

  1、什么是KNIME - 数据分析工具

  KNIME通过可视化编程帮助您操作,分析和建模数据。它用于集成各种组件,用于数据挖掘和机器学习。转行大数据分析师后悔了 

  2、KNIME的用途

  不要写代码块。相反,您必须在活动之间删除和拖动连接点;该数据分析工具支持编程语言;事实上,分析工具,例如可扩展运行化学数据,文本挖掘,蟒蛇,和[R 。

  3、KNIME的限制

  数据可视化不佳

十三、Google Fusion Tables

  1、什么是Google Fusion Tables

  对于数据工具,我们有更酷,更大版本的Google Spreadsheets。一个令人难以置信的数据分析,映射和大型数据集可视化工具。此外,Google Fusion Tables可以添加到业务分析工具列表中。这也是最好的大数据分析工具之一。

  2、使用Google Fusion Tables

  在线可视化更大的表格数据;跨越数十万行进行过滤和总结;将表与Web上的其他数据组合在一起;您可以合并两个或三个表以生成包含数据集的单个可视化;

  3、Google Fusion Tables的限制

  表中只有前100,000行数据包含在查询结果中或已映射;在一次API调用中发送的数据总大小不能超过1MB。

十四、NodeXL

  1、什么是NodeXL

  它是关系和网络的可视化和分析软件。NodeXL提供精确的计算。它是一个免费的(不是专业的)和开源网络分析和可视化软件。NodeXL是用于数据分析的最佳统计工具之一。其中包括高级网络指标。此外,访问社交媒体网络数据导入程序和自动化。

  2、NodeXL的用途

  这是Excel中的一种数据分析工具,可帮助实现以下方面:

  数据导入;图形可视化;图形分析;数据表示;该软件集成到Microsoft Excel 2007,2010,2013和2016中。它作为工作簿打开,包含各种包含图形结构元素的工作表。这就像节点和边缘;该软件可以导入各种图形格式。这种邻接矩阵,Pajek .net,UCINet .dl,GraphML和边缘列表。

  3、NodeXL的局限性

  您需要为特定问题使用多个种子术语;在稍微不同的时间运行数据提取。

十五、Wolfram Alpha

  1、什么是Wolfram Alpha

  它是Stephen Wolfram创建的计算知识引擎或应答引擎。

  2、Wolfram Alpha的使用

  是Apple的Siri的附加组件;提供技术搜索的详细响应并解决微积分问题;帮助业务用户获取信息图表和图形。并有助于创建主题概述,商品信息和高级定价历史记录。

  3、Wolfram Alpha的局限性

  Wolfram Alpha只能处理公开数字和事实,而不能处理观点;它限制了每个查询的计算时间;这些数据分析统计工具有何疑问?

十六、Google搜索运营商

  1、什么是Google搜索运营商

  它是一种强大的资源,可帮助您过滤Google结果。这立即得到最相关和有用的信息。

  2、Google搜索运算符的使用

  更快速地过滤Google搜索结果;Google强大的数据分析工具可以帮助发现新信息。

十七、Excel解算器

  1、什么是Excel解算器

  Solver加载项是Microsoft Office Excel加载项程序。此外,它在您安装Microsoft Excel或Office时可用。它是excel中的线性编程和优化工具。这允许您设置约束。它是一种先进的优化工具,有助于快速解决问题。

  2、求解器的使用

  Solver找到的最终值是相互关系和决策的解决方案;它采用了多种方法,来自非线性优化。还有线性规划到进化算法和遗传算法,以找到解决方案。

  3、求解器的局限性

  不良扩展是Excel Solver缺乏的领域之一;它会影响解决方案的时间和质量;求解器会影响模型的内在可解性;

十八、Dataiku DSS

  1、什么是Dataiku DSS

  这是一个协作数据科学软件平台。此外,它还有助于团队构建,原型和探索。虽然,它可以更有效地提供自己的数据产品。

  2、Dataiku DSS的使用

  Dataiku DSS - 数据分析工具提供交互式可视化界面。因此,他们可以构建,单击,指向或使用SQL等语言。大数据分析十八般工具 

  3、Dataiku DSS的局限性

  有限的可视化功能;UI障碍:重新加载代码/数据集;无法轻松地将整个代码编译到单个文档/笔记本中;仍然需要与SPARK集成

  以上的工具只是大数据分析所用的部分工具,小编就不一一列举了,下面把部分工具的用途进行分类:

  1、前端展现

  用于展现分析的前端开源工具有JasperSoft,Pentaho, Spagobi, Openi, Birt等等。

  用于展现分析商用分析工具有Style Intelligence、RapidMiner Radoop、Cognos, BO, Microsoft Power BI, Oracle,Microstrategy,QlikView、 Tableau 。

  国内的有BDP,国云数据(大数据分析魔镜),思迈特,FineBI等等。

  2、数据仓库

  有Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

  3、数据集市

  有QlikView、 Tableau 、Style Intelligence等等。

已赞过 已踩过<
你对这个回答的评价是?
评论 收起
喵喵喵喵喵咪c7
2019-08-07 · TA获得超过4024个赞
知道小有建树答主
回答量:2277
采纳率:100%
帮助的人:69.8万
展开全部
大数据是互联网发展的方向,大数据人才是未来的高薪贵族。随着大数据人才的供不应求,大数据人才的薪资待遇也在不断提升。大数据时代,中国IT环境也将面临重新洗牌,不仅仅是企业,更是程序员们转型可遇而不可求的机遇。综合以下是10家专门从事大数据构建或相关业务的企业所提供的应用程序,有需要的可以直接收藏了!
1. Domo
Omniture公司前首席执行官Josh James于2010年创立了Domo公司,为企业提供了一种方法,可以从不同来源、不同的孤岛中查看数据。它自动从电子表格、社交媒体、内部存储、数据库,基于云的应用程序,以及数据仓库中提取数据,并在可定制仪表板上显示信息。它以其易用性以及几乎任何人都可以建立和使用它而闻名,而不仅仅是数据科学家采用。它配备了许多预加载的图表和数据源设计,可以快速移动。
2. Teradata Database
从Teradata Database 15开始,该公司增加了Teradata统一数据架构等新的大数据功能,使企业能够跨多个系统访问和处理分析查询,其中包括从Hadoop导入和导出双向数据。它还添加了地理空间数据的3D显示和处理,以及增强的工作负载管理和系统可用性。支持AWS和Azure的基于云计算的版本称为Teradata Everywhere,它在基于公共云的数据和本地部署的数据之间提供了大规模的并行处理分析。
3. Hitachi Vantara
Hitachi Vantara的大数据产品是建立一些流行的开源工具基础上。Hitachi Vantara成立于2017年,是日立数据系统公司的存储和数据中心基础设施业务部门,是由Hitachi Insight集团物联网业务和日立Pentaho大数据业务组合成的一家合资公司。 Pentaho基于Apache Spark内存计算框架和Apache Kafka消息系统。Pentaho 8.0还增加了对Apache Knox Gateway的支持,以对用户进行身份验证,并强制访问大数据存储库的访问规则。它还增加了对依靠Docker容器构建分析应用程序的支持。
4. TIBCO公司的Statistica
TIBCO公司的Statistica是针对各种规模企业的预测分析软件,使用Hadoop技术对结构化和非结构化数据执行数据挖掘,解决物联网数据,能够在全球任何地方的设备和网关上部署分析,并支持数据库内分析来自Apache Hive、MySQL、Oracle、Teradata等平台的功能。它使用模板来设计完整的分析,因此只有较少的技术用户可以进行自己的分析,并且可以将模型从电脑导出到其他设备。
5. Panoply
Panoply公司依靠使用人工智能来销售所谓的智能云数据仓库,以消除转换、集成和管理数据所需的开发和编码。该公司声称,其智能云数据仓库实质上提供了数据管理即服务,能够在无需任何干预的情况下消费和处理高达1PB的数据。其机器学习算法可以检查来自任何数据源的数据,并对该数据执行查询和可视化。
6. IBM Watson Analytics
Watson Analytics是IBM公司的基于云计算的分析服务。当用户将数据上传到Watson时,它会根据数据分析向用户提供可帮助回答的问题,并立即提供关键数据可视化。它还可以进行简单分析、预测分析、智能数据发现,并提供各种自助服务仪表板。IBM公司还有另一种分析产品SPSS,可用于从数据中发现模式,并查找数据点之间的关联。
7. SAS Visual Analytics
Statistical Analysis System (SAS)创建于1976年,比大数据的创建还要早,就是为了处理大量数据。它可以从各种来源中挖掘、更改、管理和检索数据,并对所述数据执行统计分析,然后将其呈现在一系列方法中,如统计数据、图表等,或将数据写入其他文件。它支持所有类型的数据预测和分析要点,并附带预测工具来分析和预测流程。
8. Sisense商业智能软件
Sisense公司声称其提供了唯一的商业智能软件,使用户可以依靠从商品服务器硬件上的多个源进行来准备、分析和可视化复杂数据。Sisense的片上高性能数据引擎可以在一秒钟内完成对TB级数据的查询,并且为不同行业提供了一批模板。
9. Talend的大数据工作室
Talend一直专注于为Hadoop生成干净的原生代码,无需手动编写所有代码。它为各种大数据存储库提供接口,如Cloudera,MapR,Hortonworks和Amazon EMR。它近期添加了一个数据准备应用程序,可以让客户创建一个通用字典,并使用机器学习,自动执行数据清理过程,以便在更短的时间内为数据处理准备好数据。
10. Cloudera
Apache Hadoop公司是很受欢迎的提供商和支持者,它与戴尔、英特尔、甲骨文、SAS、德勤和凯捷等公司都有合作关系。它由五个主要应用程序组成:核心数据管理平台Cloudera Essentials,数据管理平台Cloudera Enterprise Data Hub,用于商业智能和基于SQL的分析的Cloudera Analytic DB; 高度可扩展的NoSQL数据库Cloudera Operational DB,以及Cloudera Data Science and Engineering,在Core Essentials平台上运行的数据处理、数据科学和机器学习。
本回答被网友采纳
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
vincen0530
2019-03-12 · 知道合伙人情感行家
vincen0530
知道合伙人情感行家
采纳数:125 获赞数:4183
top sales

向TA提问 私信TA
展开全部
我们做这块的,有免费和收费版,可以详细聊一下
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
melodycandyy
2019-02-27 · 超过13用户采纳过TA的回答
知道答主
回答量:1299
采纳率:6%
帮助的人:86.3万
展开全部
1. Cloudera

实际上是增加了一些额外服务的Hadoop,你会需要它,因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群,还可以帮助培训你的员工,更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库,因为它适用于管理经常变化的数据:非结构化数据,大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司,Talend的产品围绕其集成平台而建,该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1:Talend大数据集成平台包括数据质量和治理功能

二、大数据工具:数据清理

在你真正处理数据以获取洞察力之前,需要清理和转换数据,转换成可远程搜索的内容。大数据集往往是非结构化、无组织的,因此需要某种清理或转换。

当下,数据可能来自任何地方:移动、物联网和社交媒体,数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力,因此优秀的数据清理工具极其重要。实际上,在未来几年,预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具,通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的,但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样,DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的,Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项,查找和替换内容,检查拼写,还有用于转换数据的许多公式。但Excel很快陷入困境,不适合庞大数据集。

三、大数据工具:数据挖掘

一旦数据经过清理和准备,你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程:发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂,但竭力提供 一种外观漂亮、对用户友好的用户界面,说起来容易做起来难。数据挖掘工具面临的另一个挑战是:它们确实需要人来编制查询,所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

Rapi1. Cloudera

实际上是增加了一些额外服务的Hadoop,你会需要它,因为大数据不容易搞。Cloudera的服务团队不仅可以帮助你构建大数据集群,还可以帮助培训你的员工,更好地访问数据。

2. MongoDB

MongoDB是最受欢迎的大数据数据库,因为它适用于管理经常变化的数据:非结构化数据,大数据常常是非结构化数据。

3. Talend

作为一家提供广泛解决方案的公司,Talend的产品围绕其集成平台而建,该平台集大数据、云、应用程序、实时数据集成、数据准备和主数据管理于一体。

图1:Talend大数据集成平台包括数据质量和治理功能

二、大数据工具:数据清理

在你真正处理数据以获取洞察力之前,需要清理和转换数据,转换成可远程搜索的内容。大数据集往往是非结构化、无组织的,因此需要某种清理或转换。

当下,数据可能来自任何地方:移动、物联网和社交媒体,数据清理显得更为必要。并非所有这些数据都可以轻松“清理”以获得洞察力,因此优秀的数据清理工具极其重要。实际上,在未来几年,预计经过有效清理的数据会是可接受的大数据系统与真正出色的大数据系统之间的竞争优势。

4. OpenRefine

OpenRefine是一款易于使用的开源工具,通过删除重复项、空白字段及??其他错误来清理凌乱的数据。它是开源的,但有一个相当大的社区可提供帮助。

5. DataCleaner

与OpenRefine一样,DataCleaner可将半结构化数据集转换成数据可视化工具可以读取的干净可读的数据集。该公司还提供数据仓库和数据管理服务。

6. 微软Excel

说真的,Excel有其用途。你可以从各种数据源导入数据。Excel在手动数据输入和复制/粘贴操作方面特别有用。它能消除重复项,查找和替换内容,检查拼写,还有用于转换数据的许多公式。但Excel很快陷入困境,不适合庞大数据集。

三、大数据工具:数据挖掘

一旦数据经过清理和准备,你可以通过数据挖掘开始搜索数据了。这时你执行这个实际的过程:发现数据、做出决定和进行预测。

数据挖掘是大数据流程的真正核心。数据挖掘解决方案通常底层很复杂,但竭力提供 一种外观漂亮、对用户友好的用户界面,说起来容易做起来难。数据挖掘工具面临的另一个挑战是:它们确实需要人来编制查询,所以数据挖掘工具的好坏取决于使用它的专业人员。

7. RapidMiner

Rapi
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
三分熟的腐肉5d
2019-02-27 · 贡献了超过473个回答
知道答主
回答量:473
采纳率:0%
帮助的人:34.2万
展开全部
百度查查看
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式