Question

集群上同时又spark1和spark2.0怎么指定

Answer 1

进入到Spark安装目录

　　cd /spark-2.1.0-bin-hadoop2.6/conf

　　mv spark-env.sh.template spark-env.sh

　　vi spark-env.sh

　　在该配置文件中添加如下配置　　

1
2
3
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_65
export SPARK_MASTER_IP=intsmaze-131（指定standalone模式中主节点master是哪一台spark节点）
export SPARK_MASTER_PORT=7077　
　　mv slaves.template slaves

　　vi slaves

　　在该文件中添加子节点所在的位置（Worker节点）

1
2
3
intsmaze-131
intsmaze-132
intsmaze-134
　　将配置好的Spark拷贝到其他节点上

1
2
scp -r spark-2.1.0-bin-hadoop2.6/ intsmaze-132:/home/hadoop/app/spark2.0/
scp -r spark-2.1.0-bin-hadoop2.6/ intsmaze-134:/home/hadoop/app/spark2.0/
　　Spark集群配置完毕，目前是1个Master，3个Work，在intsmaze-131（master节点）上启动Spark集群

/home/hadoop/app/spark2.0/spark-2.1.0-bin-hadoop2.6/sbin/start-all.sh（spark集群不需要启动hadoop集群等，与hadoop集群无关。如果配置为spark on yarn上，那么必须启动spark和yarn集群而不需要启动hadoop）

　　启动后执行jps命令，

Answer 2

应该可以直接指定吧