Question

向spark集群提交任务报错，求指导！

有个基于大数据挖掘的平台，在向spark集群内提交任务的时候，会不定时的出现如图所示的报错，谁能大概判断下，这个到底是我们平台程序的问题，还是spark集群的问题？？？

Answer 1

示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。首先需要将程序打包成jar

选择project structure --》artifacts ，由于集群已经有了运行依赖的jar包，打包时可以将这些jar包排除出去，以减小打包后的jar包的大小。