Question

spark 的 master 和 worker 通过什么方式进行通信的

Answer 1

Akka。spark集群中是按照slaves文件中的主机名，去启动worker节点。 你写了几个不同的主机名，启动spark环境时就是几个worker节点。

Akka是一个由Scala编写的,能兼容Sacala和JAVA的，用于编写高可用和高伸缩性的Actor模型框架，它基于了事件驱动的并发处理模式，性能非常的高,并且有很高的可用性，大大的简化了我们在应用系统中开发并发处理的过程。它在各个领域都有很好的表现。

扩展资料

AKKA把并发操作的各种复杂的东西都统一的做了封装．我们主要关心的是业务逻辑的实现，只需要少量的关心Actor模型的串联即可构建出高可用，高性能，高扩展的应用．

由于AKKA是使用Scala编写的,而Scala是一种基于JVM的语言，因此JAVA对AKKA的支持也是很不错的.Akka自身又是采用微内核的方式来实现的，这就意味着能很容易的在自己的项目中应用AKKA，只需要引入几个akka的Lib包即可。

Answer 2

spark集群中是按照slaves文件中的主机名,去启动worker节点。 你写了几个不同的主机名,启动spark环境时就是几个worker节点。