Question

spark-submit参数的问题求解答

1.在官网给出的例子中, 最后一行的一百代表什么？ 还有一个例子最后一行是1000，代表什么？ 谢谢。

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[8] \
/path/to/examples.jar \
100

2. spark-submit中有参数：--master MASTER_URL。但是程序中也有setMaster（“spark:// ....”），如果这两个设置的url不相同， 请问程序实际在跑的过程中是以哪个为准的？

3. --executor-memory 1024MB\
--total-executor-cores 8\
这两个参数是怎么确定下来的？

Answer 1

1. 100只是传给example.jar的程序参数；

2. 以--master指定的master url为准；

3. executor-memory是给每个executor指定使用的内存；total-executor-cores
    这个参数是所有的executor使用的总CPU核数。这两个参数需要根据你的机器配置情况以及Spark程序的业务逻辑来确定。