spark中map()和flatmap()的区别

先过一下定义：
map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。

flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD,这样就得到了一个由各列表中的元素组成的RDD,而不是一个列表组成的RDD。

有点模糊，没关系，看例子：

我们采用将每个元素按照空格的方法将每个元素进行分割，分别执行map与flatMap方法。
map方法如下图所示：

flatMap方法如下图所示：

再看个例子：

val rdd = sc.parallelize(List("coffee panda","happy panda","happiest panda party"))

输入

rdd.map(x=>x).collect

结果

res9: Array[String] = Array(coffee panda, happy panda, happiest panda party)

输入

rdd.flatMap(x=>x.split(" ")).collect

结果

res8: Array[String] = Array(coffee, panda, happy, panda, happiest, panda, party)

来源：CSDN

作者：CYJ_fightman

链接：https://blog.csdn.net/CYJ2014go/article/details/83014075