Spark core的算子怎么获取

这篇文章主要讲解了“Spark core的算子怎么获取”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark core的算子怎么获取”吧！

1. 转换过滤算子

   map  ： (map flatMap mapPartitions mapPartitionWithIndex)     
   filter

   
   

2. ByKey算子

    分组：groupByKey
    排序：sortByKey
    统计：countByKey
    reduce处理：（reduce reduceByKey aggregateByKey）

   
   

3. 获取算子

    take
    takeSample
    collect
    saveAsTextFile

   
   

4. 两个集合算子

    交集：intersection 
    并集：union
    笛卡尔积：cartesian
    join 
    cogroup

   
   

5. 单独集合处理算子

    去重：distinct
    统计：count

   
   

6. partition管理算子

    压缩：coalesce
    重置：repartition

感谢各位的阅读，以上就是“Spark core的算子怎么获取”的内容了，经过本文的学习后，相信大家对Spark core的算子怎么获取这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是亿速云，小编将为大家推送更多相关知识点的文章，欢迎关注！