spark sql 如何分区控制最后输出文件数量
展开全部
spark sql 如何分区控制最后输出文件数量
因为Spark内部写文件方式其实调用的都是Hadoop的函数，所以我们也可以通过Spark实现多文件输出。Spark内部没有多文件输出的函数供大家直接调用，我们自己实现这个功能也是很简单的。我们可以通过调用saveAsHadoopFile函数并自定义一个OutputFormat类即可
因为Spark内部写文件方式其实调用的都是Hadoop的函数，所以我们也可以通过Spark实现多文件输出。Spark内部没有多文件输出的函数供大家直接调用，我们自己实现这个功能也是很简单的。我们可以通过调用saveAsHadoopFile函数并自定义一个OutputFormat类即可
本回答由提问者推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
