Question

求教： Spark的dataframe 怎么改列的名字，比如列名 SUM(_c1) 改成c1

做了一个groupBy().agg()之后，
df.groupBy("keyy").agg({"_c1" : "sum", "_c2" : "sum"})

数据就变成了这样的格式。
newdf :
[Row(keyy=u'aaa', SUM(_c1)=0.123,SUM(_c2)=0.567),
Row(keyy=u'bbb', SUM(_c1)=0.234, SUM(_c2)=0.567)]

因为接下来还要对后面两列进行操作，发现sql 或者直接选取列都因为这奇葩(?)的列名，都不能运行。有什么办法能把这个dataframe的列名改成正常的名字, 比如c1之类的？只要能让后面的调用，麻烦点的方法都可以，不用考虑perforamance.........
newdf里， SUM(_c1) SUM(_c2) 不一定一个在前一个在后，有时候可能是【keyy ，SUM(_c2)，SUM(_c1) 】
多谢多谢！

• 你的回答被采纳后将获得：
• 系统奖励15（财富值+成长值）+难题奖励10（财富值+成长值）+提问者悬赏50（财富值+成长值）

Answer 1

试试这样：

df.groupBy("key").agg(sum($"quantity") as "c1", avg($"quantity") as "c2")

Answer 2

看这问题人挺多的，我来提供一下解决方案.
DF.sum("value").withColumnRenamed("sum(value)","sumType").show();

Answer 3

兄弟 你可以这样：
from pyspark.sql import functions as F
df.groupBy("keyy").agg(F.sum('_c1').alias('c1'), F.sum('_c2').alias('c2')).collect()