spark中map与flatmap的区别
map是将每一个输入映射为一个新的对象,输入A映射为输出对象B,{苹果,梨子}.map(去皮) = {去皮苹果,去皮梨子} 其中: “去皮”函数的类型为:A => B 2.flatMap包含两个操作:会将每一个输入对象输入映射为一个新集合,然后把这些新集合连成一个大集合。 {苹果,梨子}.flatMap(切碎) = {苹果碎片1,苹果碎片2,梨子碎片1,梨子碎片2} 其中: “切碎”函数的类型为: A => List<B> 在使用时map会将一个长度为N的RDD转换为另一个长度为N的RDD;而flatMap会将一个长度为N的RDD转换成一个N个元素的集合,然后再把这N个元素合成到一个单个RDD的结果集。 作者:jiChaoLi 链接:https://www.zhihu.com/question/34548588/answer/70974648 来源: CSDN 作者: lkdg480 链接: https://blog.csdn.net/u011312836/article/details/89327543