Question

Spark中的dataFrame如何实现Python中dataFrame的describe功能

python的dataFrame.describe可以传入一个数组，返回结果会输出基本统计信息和分段信息，如图1，而在spark中dataFrame.describe只会返回基本统计信息，如图2，如何在spark中不植入pandas的东西，而实现或者算出这个分段信息呢？





Answer 1

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""
Created on Fri Jun 8 16:27:57 2018
@author: luogan
"""import pandas as pdfrom pyspark.sql import SparkSession
spark= SparkSession\
.builder \
.appName("dataFrame") \
.getOrCreate()# Loads data.ll3=pd.DataFrame([[1,2],[3,4]],columns=['a','b'])

cc=ll3.values.tolist()

dd=list(ll3.columns)#df=spark.createDataFrame(ll3)#turn pandas.DataFrame to spark.dataFramespark_df = spark.createDataFrame(cc, dd)

print('spark.dataFram=',spark_df.show())#turn spark.dataFrame to pandas.DataFrame pandas_df = spark_df .toPandas()

print('pandas.DataFrame=',pandas_df)