Question

spark standalone模式worker节点和master节点怎么连接

Answer 1

Spark集群有三种运行模式：Standalone、Mesos和YARN模式。

现在说Standalone模式。这是最简单的模式，Spark靠自己就能运行这个模式(不依靠其它集群管理工具)。

方法一：手动运行Standalone模式。
前提：Spark各个文件都不做任何修改。
1、在master机器上运行 ./sbin/start-master/sh
运行完之后，会打印出url: spark://HOST:PORT ，这个就是当前master的Spark URL。
2、在slave机器上运行 ./sbin/start-slave.sh <master-spark-url>
然后在Master的管理界面上查看，查看slave是否已上线。

方法二：使用集群运行脚本运行Standalone模式。
前提：master节点去访问slave节点需要使用ssh无密码登录，因此需要提前配置无密码登录。
1、在master的conf文件夹下新增slaves文件。slaves文件里存放着每一个slave节点的hostname，每行一个。
2、在master节点上运行如下脚本即可