intellij idea maven 开发spark环境搭建出现这个错误
1个回答
展开全部
在Spark快速入门指南 – Spark安装与基础使用中介绍了Spark的安装与配置,在那里还介绍了使用spark-submit提交应用,不过不能使用vim来开发Spark应用,放着IDE的方便不用。这里介绍使用Intellij Idea搭建Spark的开发环境。
1、Intellij Idea的安装
由于Spark安装在Ubuntu环境中,这里的Idea也安装在Ubuntu中。首先是下载,到官网下载即可。下载完后解压到待安装的目录:
sudo tar -zxvf ideaIU-2016.1.tar.gz -C /usr/local/
我解压在了/usr/local目录下,然后更改文件夹名:
mv ideaIU-2016.1 idea
然后修改文件的用户和用户组:
sudo chown -R hadoop:hadoop idea
这里的hadoop是我的用户名和组名。这样idea就安装成功了。
为了启动idea,进入idea/bin目录,执行里面的idea.sh:
bin/idea.sh
这样就可以启动idea。不过这样不方便,可以在桌面新建文件idea.desktop,输入如下内容:
[Desktop Entry]
Name=IdeaIU
Comment=Rayn-IDEA-IU
Exec=/usr/local/idea/bin/idea.sh
Icon=/usr/local/idea/bin/idea.png
Terminal=false
Type=Application
Categories=Developer;
这样就创建了一个桌面快捷方式。
2、maven的安装与配置
Maven 是一个项目管理和构建自动化工具。作为一个程序员,都有过为了使用某个功能而在项目中添加jar包的经历,使用的框架多了,需要添加的jar包也多,而maven能够自动为我们添加需要的jar包。首先在maven官网上下载maven:
下载之后在Downloads目录下有如下文件:
liu@Binja:~/Downloads$ ls
apache-maven-3.3.9-bin.tar.gz
解压到待安装的目录:
liu@Binja:~/Downloads$ sudo tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /usr/local/
同样,修改文件夹名和用户名:
liu@Binja:/usr/local$ sudo mv apache-maven-3.3.9/ maven
liu@Binja:/usr/local$ sudo chown -R liu:liu maven
liu@Binja:/usr/local$ ll maven
total 52
drwxr-xr-x 6 liu liu 4096 3月 28 20:24 ./
drwxr-xr-x 12 root root 4096 3月 28 20:26 ../
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 bin/
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 boot/
drwxr-xr-x 3 liu liu 4096 11月 11 00:38 conf/
drwxr-xr-x 3 liu liu 4096 3月 28 20:24 lib/
-rw-r--r-- 1 liu liu 19335 11月 11 00:44 LICENSE
-rw-r--r-- 1 liu liu 182 11月 11 00:44 NOTICE
-rw-r--r-- 1 liu liu 2541 11月 11 00:38 README.txt
liu@Binja:/usr/local$
然后将maven添加到环境变量中:
sudo vim ~/.bashrc
在最后添加下面的内容:
export PATH=$PATH:/usr/local/maven/bin
使更改生效:
liu@Binja:/usr/local$ source ~/.bashrc
这样maven就安装好了。
3、用刚安装的maven配置idea
起始idea自带了maven,这里配置自己安装的maven。
一次选择File->Setting->Build,Execution,Deployment->Build Tools->Maven,如下图:
在右侧里的Maven home directory里设置Maven的安装目录,就我这里是/usr/local/maven,在User settings file里设置Mavne的配置文件,我这里使用默认的文件,在Local repository里设置本地包的管理仓库,选择右侧的Override后,可以自定义自己的仓库目录,以后Maven自动下载的包就会存放在这里。
单击OK后maven就配置完了。然后就可以创建一个maven项目。
4、创建maven项目
依次选择File->New->New Project,出现如下界面:
左侧可以选择项目的类型,这里选择Maven,右侧可以选择是否使用模板,勾选上面的Create from archetype后,就可以在下面选择项目模板,这里选择Scala的模板。
一路next之后,这里填一下groupID和artifactID,名字随便取:
然后一路next,填写上项目的名字,OK就可以了。
这样新项目就创建成功了,新项目的文件结构如下图:
其中的pom.xml就是配置我们项目的依赖包的。src是项目存放代码的目录,下面有两个结构相同的目录main和test,其中我们在main目录下编写代码,test编写测试代码,这里先不使用测试,可以将test目录删除。右侧展示的就是pom.xml文件的内容:
勾选右上角的Enable Auto-Import,这样Idea就会自动下载项目所需的依赖包。还要注意中间的Scala版本,选择自己使用的版本。
1、Intellij Idea的安装
由于Spark安装在Ubuntu环境中,这里的Idea也安装在Ubuntu中。首先是下载,到官网下载即可。下载完后解压到待安装的目录:
sudo tar -zxvf ideaIU-2016.1.tar.gz -C /usr/local/
我解压在了/usr/local目录下,然后更改文件夹名:
mv ideaIU-2016.1 idea
然后修改文件的用户和用户组:
sudo chown -R hadoop:hadoop idea
这里的hadoop是我的用户名和组名。这样idea就安装成功了。
为了启动idea,进入idea/bin目录,执行里面的idea.sh:
bin/idea.sh
这样就可以启动idea。不过这样不方便,可以在桌面新建文件idea.desktop,输入如下内容:
[Desktop Entry]
Name=IdeaIU
Comment=Rayn-IDEA-IU
Exec=/usr/local/idea/bin/idea.sh
Icon=/usr/local/idea/bin/idea.png
Terminal=false
Type=Application
Categories=Developer;
这样就创建了一个桌面快捷方式。
2、maven的安装与配置
Maven 是一个项目管理和构建自动化工具。作为一个程序员,都有过为了使用某个功能而在项目中添加jar包的经历,使用的框架多了,需要添加的jar包也多,而maven能够自动为我们添加需要的jar包。首先在maven官网上下载maven:
下载之后在Downloads目录下有如下文件:
liu@Binja:~/Downloads$ ls
apache-maven-3.3.9-bin.tar.gz
解压到待安装的目录:
liu@Binja:~/Downloads$ sudo tar -zxvf apache-maven-3.3.9-bin.tar.gz -C /usr/local/
同样,修改文件夹名和用户名:
liu@Binja:/usr/local$ sudo mv apache-maven-3.3.9/ maven
liu@Binja:/usr/local$ sudo chown -R liu:liu maven
liu@Binja:/usr/local$ ll maven
total 52
drwxr-xr-x 6 liu liu 4096 3月 28 20:24 ./
drwxr-xr-x 12 root root 4096 3月 28 20:26 ../
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 bin/
drwxr-xr-x 2 liu liu 4096 3月 28 20:24 boot/
drwxr-xr-x 3 liu liu 4096 11月 11 00:38 conf/
drwxr-xr-x 3 liu liu 4096 3月 28 20:24 lib/
-rw-r--r-- 1 liu liu 19335 11月 11 00:44 LICENSE
-rw-r--r-- 1 liu liu 182 11月 11 00:44 NOTICE
-rw-r--r-- 1 liu liu 2541 11月 11 00:38 README.txt
liu@Binja:/usr/local$
然后将maven添加到环境变量中:
sudo vim ~/.bashrc
在最后添加下面的内容:
export PATH=$PATH:/usr/local/maven/bin
使更改生效:
liu@Binja:/usr/local$ source ~/.bashrc
这样maven就安装好了。
3、用刚安装的maven配置idea
起始idea自带了maven,这里配置自己安装的maven。
一次选择File->Setting->Build,Execution,Deployment->Build Tools->Maven,如下图:
在右侧里的Maven home directory里设置Maven的安装目录,就我这里是/usr/local/maven,在User settings file里设置Mavne的配置文件,我这里使用默认的文件,在Local repository里设置本地包的管理仓库,选择右侧的Override后,可以自定义自己的仓库目录,以后Maven自动下载的包就会存放在这里。
单击OK后maven就配置完了。然后就可以创建一个maven项目。
4、创建maven项目
依次选择File->New->New Project,出现如下界面:
左侧可以选择项目的类型,这里选择Maven,右侧可以选择是否使用模板,勾选上面的Create from archetype后,就可以在下面选择项目模板,这里选择Scala的模板。
一路next之后,这里填一下groupID和artifactID,名字随便取:
然后一路next,填写上项目的名字,OK就可以了。
这样新项目就创建成功了,新项目的文件结构如下图:
其中的pom.xml就是配置我们项目的依赖包的。src是项目存放代码的目录,下面有两个结构相同的目录main和test,其中我们在main目录下编写代码,test编写测试代码,这里先不使用测试,可以将test目录删除。右侧展示的就是pom.xml文件的内容:
勾选右上角的Enable Auto-Import,这样Idea就会自动下载项目所需的依赖包。还要注意中间的Scala版本,选择自己使用的版本。
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询