Question

spark java本地环境怎么搭建

Answer 1

1. 环境准备Eclipse 请不要使用最新的 Neon(4.6) ，太多Bug了。 还是使用最新的 Mars(4.5) 系列吧JDK 版本8.x （Linux推荐Oracle， 没有测试过OpenJDK）因为只是用Java，因此无需安装Scala及其相应的插件2. 创建一个新的maven项目3. pom.xmlorg.apache.hadoophadoop-client2.6.0javax.servlet*org.apache.sparkspark-core_2.101.6.1org.apache.sparkspark-streaming_2.101.6.1org.apache.sparkspark-mllib_2.101.6.1org.scala-langscala-library2.10.5这里只列出了必要的几个依赖。 其他的请根据你自己的项目需求添加4. 使用maven打包之后在Goal 之中填写clean package 即可如果在修改了与Spark相关的代码之后，需要重新编译打包才行。 否则会有异常提示。5. 代码编写注意事项：在创建JavaSparkContext的时候，需要把自己加进去。public static JavaSparkContextgetContext(String taskName) {JavaSparkContextsc = new JavaSparkContext(SparkConnUtils.getSparkConf(taskName));sc.addJar("target/sparkstat-0.0.1-SNAPSHOT.jar");return sc;}其中target/sparkstat-0.0.1-SNAPSHOT.jar是maven 运行之后生成的完整的jar包spark java本地环境怎么搭建