spark master节点 为什么也有worker进程
2个回答
展开全部
spark集群中是按照slaves文件中的主机名,去启动worker节点。 你写了几个不同的主机名,启动spark环境时就是几个worker节点。
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
展开全部
首先看spark是什么模式，如果是standalone模式，就一个机器，master和worker当然都有
如果是集群模式，看配置文件slaves，文件里有谁，谁就是worker
master在spark-env.sh中指定，指定master的ip地址。一个机器可以即使master又是worker不冲突
如果没有计算任务task,就只有master和worker进程，如果有计算任务还会启
CoarseGrainedExecutorBackend进程，这个进程启动executor实例，默认是一个worker机
器上一个executor,计算任务完成，CoarseGrainedExecutorBackend进程退出
如果是集群模式，看配置文件slaves，文件里有谁，谁就是worker
master在spark-env.sh中指定，指定master的ip地址。一个机器可以即使master又是worker不冲突
如果没有计算任务task,就只有master和worker进程，如果有计算任务还会启
CoarseGrainedExecutorBackend进程，这个进程启动executor实例，默认是一个worker机
器上一个executor,计算任务完成，CoarseGrainedExecutorBackend进程退出
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
