如何在Spark集群的work节点上启动多个Executor

 我来答
llzzcc66
2017-01-29 · 知道合伙人数码行家
llzzcc66
知道合伙人数码行家
采纳数:81385 获赞数:171487
公司运维员工

向TA提问 私信TA
展开全部
1、设置每个executor使用的cpu数为4

spark.executor.cores 4
2、限制cpu使用数量,这里会启动3个executor(12/4)

spark.cores.max 12
3、设置每个executor的内存大小为8g

spark.executor.memory 12g
以上设置将会启动3个executor,每个executor使用4cpu,12gRAM。
总共占用worker资源12cpu,36gRAM。

Spark1.6的源码部分为:

protected final String EXECUTOR_MEMORY = "--executor-memory";protected final String TOTAL_EXECUTOR_CORES = "--total-executor-cores";protected final String EXECUTOR_CORES = "--executor-cores";
也可以在提交任务的时候添加:

SparkSubmit --class com.dyq.spark.MyClass --master:spark://master:7077 --total-executor-cores 12 --executor-cores 24 --executor-memory 12g
tip

在使用过程中发现如果使用spark1.5以下版本有时候会出现即使有资源也申请不到的情况。
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式