spark dataframe 怎么去除第一行数据
1个回答
展开全部
然后我们进入spark-shell,控制台的提示说明Spark为我们创建了一个叫sqlContext的上下文,注意,它是DataFrame的起点。
接下来我们希望把本地的JSON文件转化为DataFrame:
scala> val df = sqlContext.jsonFile("/path/to/your/jsonfile")df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
从控制台的提示可以得知,我们成功创建了一个DataFrame的对象,包含age和name两个字段。
而DataFrame自带的玩法就多了:// 输出表结构df.printSchema()// 选择所有年龄大于21岁的人,只保留name字段df.filter(df("age") > 21).select("name").show()// 选择name,并把age字段自增df.select("name", df("age") + 1).show()// 按年龄分组计数df.groupBy("age").count().show()// 左联表(注意是3个等号!)df.join(df2, df("name") === df2("name"), "left").show()
接下来我们希望把本地的JSON文件转化为DataFrame:
scala> val df = sqlContext.jsonFile("/path/to/your/jsonfile")df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
从控制台的提示可以得知,我们成功创建了一个DataFrame的对象,包含age和name两个字段。
而DataFrame自带的玩法就多了:// 输出表结构df.printSchema()// 选择所有年龄大于21岁的人,只保留name字段df.filter(df("age") > 21).select("name").show()// 选择name,并把age字段自增df.select("name", df("age") + 1).show()// 按年龄分组计数df.groupBy("age").count().show()// 左联表(注意是3个等号!)df.join(df2, df("name") === df2("name"), "left").show()
本回答被提问者采纳
已赞过
已踩过<
评论
收起
你对这个回答的评价是?
推荐律师服务:
若未解决您的问题,请您详细描述您的问题,通过百度律临进行免费专业咨询