怎么将sparkr中的dataframe写入hive
1个回答
展开全部
在实际工作中,经常会遇到这样的场景,想将计算得到的结果存储起来,而在Spark中,正常计算结果就是RDD。
而将RDD要实现注入到Hive表中,是需要进行转化的。
关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class.
然后,关键转化代码就两行。
data.toDF().registerTempTable("table1")
sql("create table XXX as select * from table1")
而将RDD要实现注入到Hive表中,是需要进行转化的。
关键的步骤,是将RDD转化为一个SchemaRDD,正常实现方式是定义一个case class.
然后,关键转化代码就两行。
data.toDF().registerTempTable("table1")
sql("create table XXX as select * from table1")
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询