Spark中map和flatMap的理解
笔记:本文记录了map和flatMap的区别
函数原型
1.data.map(function)
该函数是data的方法,传入的参数为一个函数(function),作用:对data中的每一个项进行function操作,并返回RDD,该RDD的项的数目等于原data的项的数目。
2.data.flatMap(function)
flatMap方法和map方法类似,但是每个输入项可成为0个或多个输出项,实际上是在map的基础上进行了扁平化处理。
形象化理解map和flatMap:
3 map接龙:连续调用map方法
形式如下:data.map().map().map()
map部分示例代码(来源:《Spark MLlib 机器学习实战(第二版)》 -王晓华 P59):
val rdd=sc.textFile(“c://test.txt”)//创建RDD文件路径
.map(_.split(' '))//按“ ”分割
.map(_.toDouble))//转换成Double类型
.map(line=>Vectors.dense(line)//转换成Vector格式
参考文章:https://www.sogou.com/link?url=hedJjaC291MxDp_bleWQj5pP-YHblviUM3un4Y7gPgD-TMBYoIJyGI_2LFoNtBLn