Question

用Intellij idea 编写Scala程序Spark2.0.0 依赖jar包如何解决

Spark2.0.0目录下没有lib目录也没有spark-assembly*.jarSpark1.6.2 可以直接导入spark-assembly-1.6.2-hadoop2.6.0.jar包

Answer 1

在“File|Project Structure|Libraries”窗体中点击绿色+号，选择“Java”，在弹出的窗体中选择“Spark”的安装目录，定位到Spark\jars目录，点击“OK”，把全部jar文件引入到项目中。网上和目前出版的书中讲解是spark2.0以下版本，采用的是把sparkle核心文件（如：“spark-assembly-1.3.0-hadoop2.4.0.jar”）拷贝到Interllij IDEA安装目录下的Lib目录下，再使用Spark。由于Spark2.1.0已经取消了该文件，因此无法用原先的方法。

Answer 2

问题解决了吗，我也遇到这个问题了。