scala代码能够在spark-shell运行,但是不能通过spark-submit提交运行,why?

 我来答
匿名用户
2016-04-22
展开全部
靠 总算搞定了,跟题主一模一样的异常信息

首先肯定是版本问题,编译版本问题。如楼上所说sbt配置spark-core的版本应该有问题。
贴我的配置
<img src="https://pic4.zhimg.com/d88d133416260863f4d9b60628a7323f_b.png" data-rawwidth="745" data-rawheight="647" class="origin_image zh-lightbox-thumb" width="745" data-original="https://pic4.zhimg.com/d88d133416260863f4d9b60628a7323f_r.png">注意各个依赖配置区别,%%和%的区别,%%会带scala版本信息,spark-core也就会变成spark-core_2.10,因为这里scala_version是2.10.4(.4就不要了),然后构建打包执行成功,一定要重新project structure。注意各个依赖配置区别,%%和%的区别,%%会带scala版本信息,spark-core也就会变成spark-core_2.10,因为这里scala_version是2.10.4(.4就不要了),然后构建打包执行成功,一定要重新project structure。

之前是scala_version是2.11.7,而且没有带scala版本信息去编译。由于用的CDH,CDH中的依赖也没有spark-core_2.11,只有spark-core_2.10。
已赞过 已踩过<
你对这个回答的评价是?
评论 收起
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式