Question

spark dataframe的select和selectexpr的区别

Answer 1

spark dataframe的select和selectexpr的区别
Select是把要遍历的集合IEnumerable逐一遍历，每次返回一个T，合并之后直接返回一个IEnumerable，而SelectMany则把原有的集合IEnumerable每个元素遍历一遍，每次返回一个IEnumerable，把这些IEnumerable的“T”合并之后整体返回一个IEnumerable。