怎么将sparkr中的dataframe写入hive

 我来答
牛永安0HQ
2016-11-24 · 知道合伙人互联网行家
牛永安0HQ
知道合伙人互联网行家
采纳数:1224 获赞数:3261
启明教育老师

向TA提问 私信TA
展开全部
  在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。

  而将RDD要实现注入到Hive表中,是需要进行转化的。

  关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class.

  然后,关键转化代码就两行。

  data.toDF().registerTempTable("table1")
  sql("create table XXX as select * from table1")
推荐律师服务: 若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询

为你推荐:

下载百度知道APP,抢鲜体验
使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。
扫描二维码下载
×

类别

我们会通过消息、邮箱等方式尽快将举报结果通知您。

说明

0/200

提交
取消

辅 助

模 式