Question

怎样通过程序控制远程集群提交运行jar包

Answer 1

java应该有自动打包工具
提交远程是完全可以的，先安装客户端，然后在提交。
具体这个只要了解原理，其实很简单。
比如hadoop吧，首先本地有个hadoop环境，有了环境，我们就可以执行
hadoop jar。。。
执行的过程中，我们需要运行程序和读取配置文件。这时候我们的程序如果设置的是远程，那么读取的就是远程的配置信息，申请的是远程的yarn。这就达到了远程的目的
下面例子参考：

public class RemoteMapReduceService {
    public static String startJob() throws Exception {
        Job job = Job.getInstance();
        job.setJobName("xxxx");
        /***************************
         *......
         *在这里，和普通的MapReduce一样，设置各种需要的东西
         *......
         ***************************/
                 
        //下面为了远程提交添加设置：
        Configuration conf = job.getConfiguration();
        conf.set("mapreduce.framework.name", "yarn");
        conf.set("hbase.zookeeper.quorum", "MASTER:2181");
        conf.set("fs.default.name", "hdfs://MASTER:8020");
        conf.set("yarn.resourcemanager.resource-tracker.address", "MASTER:8031");
        conf.set("yarn.resourcemanager.address", "MASTER:8032");
        conf.set("yarn.resourcemanager.scheduler.address", "MASTER:8030");
        conf.set("yarn.resourcemanager.admin.address", "MASTER:8033");
        conf.set("yarn.application.classpath", "$HADOOP_CONF_DIR,"
            +"$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,"
            +"$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,"
            +"$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,"
            +"$YARN_HOME/*,$YARN_HOME/lib/*,"
            +"$HBASE_HOME/*,$HBASE_HOME/lib/*,$HBASE_HOME/conf/*");
        conf.set("mapreduce.jobhistory.address", "MASTER:10020");
        conf.set("mapreduce.jobhistory.webapp.address", "MASTER:19888");
        conf.set("mapred.child.java.opts", "-Xmx1024m");
         
        job.submit();
        //提交以后，可以拿到JobID。根据这个JobID可以打开网页查看执行进度。
        return job.getJobID().toString();
    }
}

Answer 2

java应该有自动打包工具
提交远程是完全可以的，先安装客户端，然后在提交。
具体这个只要了解原理，其实很简单。
比如hadoop吧，首先本地有个hadoop环境，有了环境，我们就可以执行
hadoop jar。。。
执行的过程中，我们需要运行程序和读取配置文件。这时候我们的程序如果设置的是远程，那么读取的就是远程的配置信息，申请的是远程的yarn。这就达到了远程的目的