Spark中map和flatMap的理解

笔记：本文记录了map和flatMap的区别

函数原型

1.data.map(function)

该函数是data的方法，传入的参数为一个函数（function）,作用：对data中的每一个项进行function操作，并返回RDD，该RDD的项的数目等于原data的项的数目。

2.data.flatMap(function)

flatMap方法和map方法类似，但是每个输入项可成为0个或多个输出项，实际上是在map的基础上进行了扁平化处理。

形象化理解map和flatMap：

3 map接龙：连续调用map方法

形式如下：data.map().map().map()

map部分示例代码（来源：《Spark MLlib 机器学习实战（第二版）》 -王晓华 P59）：

val rdd=sc.textFile（“c://test.txt”）//创建RDD文件路径

.map(_.split(' '))//按“ ”分割

.map(_.toDouble))//转换成Double类型

.map(line=>Vectors.dense(line)//转换成Vector格式

参考文章：https://www.sogou.com/link?url=hedJjaC291MxDp_bleWQj5pP-YHblviUM3un4Y7gPgD-TMBYoIJyGI_2LFoNtBLn

来源：CSDN

作者：Richard7412

链接：https://blog.csdn.net/Richard7412/article/details/79169656