【Spark 】Spark 调优原则
Spark的调优是面试或者笔试考察的重点：总结下
1.开发调优：
原则一：避免创建重复的RDD。
原则二：尽可能复用同一个RDD。
原则三：对多次使用的RDD进行持久化。
原则四：尽量避免使用shuffle类算子 。
原则五：使用map-side预聚合的shuffle操作。
原则六：使用高性能的算子
原则七：广播大变量。
原则八：使用Kryo优化序列化性能。
原则九：优化数据结构。
原则十：对数据进行压缩。
原则十一：合并小文件。
出自：https://blog.csdn.net/BeiisBei/article/details/104577412