Question

spark在windows开发怎么测试

Answer 1

1、windows下环境
在安装开发软件之前，首先需要安装JAVA 和SCALA,并且配置好环境变量。
2、java开发spark程序
1） 下载eclise软件，下载地址：http://www.eclipse.org/downloads/packages/eclipse-ide-java-developers/mars2 尽量下载最新的，而且自带maven的eclipse
2） 打开eclipse软件，创建maven项目：
点 击 file ->new ->others ->maven project 点 击 next ，
选 择maven-archetype-quickstart ，点击 next，
group id 为 com.dt.spark，artifact id 为sparkApps，
然后点击 finish。
3） 修改JDK和pom文件
创建 maven 项目后，默认的 jdk 是 1.5 要改成我们前面安装好的 jdk1.8 。在项目上右击 build path ->configure build path 。 在弹出页面点击 Libraries，选中 jre system library 。点击 edit，在弹出框选择 workspace default jre ，然后点击 finish。然
后在点击 ok。将 pom 文件修改为如下内容，然后等待 eclipse 下载好 maven 依赖的 jar 包， 并编译工程。 编译好工程后有个错误提示， 在此错误列上， 右击选择 quick fix ，在弹出页面点击 finish 即可。