Question

用Spark做数据分析是怎样一种体验

Answer 1

　　

　　数据科学家为了回答一个问题或进行深入研究，会使用相关的技术分析数据。通常，他们的工作包含特殊的分析，所以他们使用交互式shell，以使得他们能在最短的时间内看到查询结果和代码片段。Spark的速度和简单的API接口很好地符合这个目标，它的内建库意味着很多算法可以随时使用。
　　Spark通过若干组件支持不同的数据科学任务。Spark shell使得用Python或Scala进行交互式数据分析变得简单。Spark SQL也有一个独立的SQL shell，可以用SQL进行数据分析，也可以在Spark程序中或Spark shell中使用Spark SQL。MLlib库支持机器学习和数据分析。而且，支持调用外部的MATLAB或R语言编写的程序。Spark使得数据科学家可以用R或Pandas等工具处理包含大量数据的问题。
　　有时，经过初始的数据处理阶段后，数据科学家的工作将被产品化，扩展，加固（容错性），进而成为一个生产数据处理应用，作为商业应用的一个组件。例如，一个数据科学家的研究成果可能会产生一个产品推荐系统，集成到一个web应用上，用来向用户生成产品建议。通常由另外的人员（如工程师）对数据科学家的工作进行产品化。
　　这个的话，先要了解下当下比较火的大数据，ITjob官网上有大数据和Spark的文章和帖子，如果觉得回答的不够详细，可以自己再去了解下。也可以去专业的贴吧和博客寻找下答案。