Question

如下图所示

Answer 1

问：如下图所示

答：亲亲，抱歉，这边不能看到图片。

问：spark是通过分析各个rdd中的分区之间的依赖关系来决定如何划分stage的，具体方法是遵循的哪三个选择

答：您好，很高兴为您解答。Spark 通过分析各个 RDD 的依赖关系生成了 DAG ，再通过分析各个 RDD 中的分区之间的依赖关系来决定如何划分阶段，具体划分方法是：在 DAG 中进行反向解析，遇到宽依赖就断开，遇到窄依赖就把当前的 RDD 加入到当前的阶段中；将窄依赖尽量划分在同一个阶段中，可以实现流水线计算。

问：物联网 云计算 大数据三者有什么联系

答：从整体上看，大数据、云计算和物联网这三者是相辅相成的。大数据根植于云计算，大数据分析的很多技术都来自于云计算，云计算的分布式和数据存储和管理系统（包括分布式文件系统和分布式数据库系统）提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力，没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。物联网的传感器源源不断产生的大量数据，构成了大数据的重要来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段向自动产生阶段，大数据时代也不会这么快就到来。同时，物联网需要借助于云计算和大数据技术、实现物联网大数据的存储、分析和处理。云计算、大数据和物联网，三者会继续相互促进、相互影响，更好地服务于社会生产和生活的各个领域。