Question

Spark应用是用来做什么的？

Answer 1

Spark因其自身优势，发展势头迅猛，目前几乎所有一站式大数据平台都已集成了Spark，很多行业也都正在用Spark来改善他们的业务，以下是Spark在一些行业的具体用途：
保险行业：通过使用Spark的机器学习功能来处理和分析所有索赔，优化索赔报销流程。
医疗保健：使用Spark Core，Streaming和SQL构建病人护理系统。
零售业：使用Spark分析销售点数据和优惠券使用情况。
互联网：使用Spark的ML功能来识别虚假的配置文件，并增强他们向客户展示的产品匹配。
银行业：使用机器学习模型来预测某些金融产品的零售的资料。
政府：分析地理，时间和财政支出。
科学研究：通过时间，深度，地理分析地震事件来预测未来的事件。
投资银行：分析日内股价以预测未来的价格走势。
地理空间分析：按时间和地理分析Uber旅行，以预测未来的需求和定价。
航空公司：建立预测航空旅行延误的模型。
设备：预测建筑物超过临界温度的可能性......

Answer 2

1. Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小;2. 由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合：3. 数据量不是特别大，但是要求实时统计分析需求。