如何创建一个控制台多个SparkContexts
1个回答
展开全部
我进入spark-shell控制台提示说明Spark我创建叫sqlContext文注意DataFrame起点
接我希望本JSON文件转化DataFrame：
scala> val df = sqlContext.jsonFile("/path/to/your/jsonfile")df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
控制台提示知我功创建DataFrame象包含agename两字段
DataFrame自带玩：// 输表结构df.printSchema()// 选择所龄于21岁保留name字段df.filter(df("age") > 21).select("name").show()// 选择name并age字段自增df.select("name", df("age") + 1).show()// 按龄组计数df.groupBy("age").count().show()// 左联表（注意3等号）df.join(df2, df("name") === df2("name"), "left").show()
接我希望本JSON文件转化DataFrame：
scala> val df = sqlContext.jsonFile("/path/to/your/jsonfile")df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
控制台提示知我功创建DataFrame象包含agename两字段
DataFrame自带玩：// 输表结构df.printSchema()// 选择所龄于21岁保留name字段df.filter(df("age") > 21).select("name").show()// 选择name并age字段自增df.select("name", df("age") + 1).show()// 按龄组计数df.groupBy("age").count().show()// 左联表（注意3等号）df.join(df2, df("name") === df2("name"), "left").show()
本回答由提问者推荐
已赞过
已踩过<
评论
收起
你对这个回答的评价是？
推荐律师服务：
若未解决您的问题，请您详细描述您的问题，通过百度律临进行免费专业咨询
