Question

spark部署python脚本怎么部署三方库

Answer 1

　　1、Spark脚本提交/运行/部署
　　1.1 spark-shell（交互窗口模式）
　　运行Spark-shell需要指向申请资源的standalone spark集群信息，其参数为MASTER，还可以指定executor及driver的内存大小。
　　sudo spark-shell --executor-memory 5g --driver-memory1g --master spark://192.168.180.216:7077
　　spark-shell启动完后，可以在交互窗口中输入Scala命令，进行操作，其中spark-shell已经默认生成sc对象，可以用：
　　val user_rdd1 = sc.textFile(inputpath, 10)
　　读取数据资源等。
　　1.2 spark-shell（脚本运行模式）
　　上面方法需要在交互窗口中一条一条的输入scala程序；将scala程序保存在test.scala文件中，可以通过以下命令一次运行该文件中的程序代码：
　　sudo spark-shell --executor-memory 5g --driver-memory1g --master spark//192.168.180.216:7077 < test.scala
　　运行后会自动进入spark-shell交互窗口并且运行test.scala中的程序，运行完成后，会自动退出spark-shell。
　　如果程序退出终端后，Linux终端失效，可以试试：stty echo 命令
　　1.3 spark-submit （程序部署）
　　Spark提供了一个容易上手的应用程序部署工具bin/spark-submit，可以完成Spark应用程序在local、Standalone、YARN、Mesos上的快捷部署。可以指定集群资源master，executor/ driver的内存资源等。
　　sudo spark-submit --masterspark://192.168.180.216:7077 --executor-memory 5g --class mypackage.test workcount.jar hdfs://192.168.180.79:9000/user/input.txt
　　workcount .scala 代码打包workcount.jar，并将文件需要上传到spark的安装目录下面；
　　hdfs//192.168.180.79:9000/user/input.txt为输入参数；