Question

scala 怎么测试数据是否serializable

Answer 1

出现错误的原因是，partitions之间进行shuffle，数据要进行序列化以及反序列化，所以gc容易占用很久时间。 建议使用kryo conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") 很省空间，效率比默认的java 序列化要好。