
scala代码能够在spark-shell运行,但是不能通过spark-submit提交运行,why?
1个回答
2016-04-22
展开全部
靠 总算搞定了,跟题主一模一样的异常信息
首先肯定是版本问题,编译版本问题。如楼上所说sbt配置spark-core的版本应该有问题。
贴我的配置
<img src="https://pic4.zhimg.com/d88d133416260863f4d9b60628a7323f_b.png" data-rawwidth="745" data-rawheight="647" class="origin_image zh-lightbox-thumb" width="745" data-original="https://pic4.zhimg.com/d88d133416260863f4d9b60628a7323f_r.png">注意各个依赖配置区别,%%和%的区别,%%会带scala版本信息,spark-core也就会变成spark-core_2.10,因为这里scala_version是2.10.4(.4就不要了),然后构建打包执行成功,一定要重新project structure。注意各个依赖配置区别,%%和%的区别,%%会带scala版本信息,spark-core也就会变成spark-core_2.10,因为这里scala_version是2.10.4(.4就不要了),然后构建打包执行成功,一定要重新project structure。
之前是scala_version是2.11.7,而且没有带scala版本信息去编译。由于用的CDH,CDH中的依赖也没有spark-core_2.11,只有spark-core_2.10。
首先肯定是版本问题,编译版本问题。如楼上所说sbt配置spark-core的版本应该有问题。
贴我的配置
<img src="https://pic4.zhimg.com/d88d133416260863f4d9b60628a7323f_b.png" data-rawwidth="745" data-rawheight="647" class="origin_image zh-lightbox-thumb" width="745" data-original="https://pic4.zhimg.com/d88d133416260863f4d9b60628a7323f_r.png">注意各个依赖配置区别,%%和%的区别,%%会带scala版本信息,spark-core也就会变成spark-core_2.10,因为这里scala_version是2.10.4(.4就不要了),然后构建打包执行成功,一定要重新project structure。注意各个依赖配置区别,%%和%的区别,%%会带scala版本信息,spark-core也就会变成spark-core_2.10,因为这里scala_version是2.10.4(.4就不要了),然后构建打包执行成功,一定要重新project structure。
之前是scala_version是2.11.7,而且没有带scala版本信息去编译。由于用的CDH,CDH中的依赖也没有spark-core_2.11,只有spark-core_2.10。
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询