Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

aggregate()

Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

代码实现

Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

fold()

Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

代码实现

Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

countByKey()统计每种key的个数

1)函数签名:def countByKey(): Map[K, Long]
2)功能说明:统计每种key的个数

Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

代码实现

Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子

save相关算子

1)saveAsTextFile(path)保存成Text文件
(1)函数签名
(2)功能说明:将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统,对于每个元素,Spark将会调用toString方法,将它装换为文件中的文本
2)saveAsSequenceFile(path) 保存成Sequencefile文件
(1)函数签名
(2)功能说明:将数据集中的元素以Hadoop Sequencefile的格式保存到指定的目录下,可以使HDFS或者其他Hadoop支持的文件系统。
注意:只有kv类型RDD有该操作,单值的没有
3)saveAsObjectFile(path) 序列化成对象保存到文件
(1)函数签名
(2)功能说明:用于将RDD中的元素序列化成对象,存储到文件中。

代码实现

Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子