Spark的Stage划分

0x01 宽依赖和窄依赖

窄依赖：

父RDD的每个分区最多被子RDD的一个分区所用（一个父RDD分区对应一个子RDD分区），即父RDD的数据没有被重新规划分区（没有被重新洗牌）。

宽依赖：

父RDD的每一个分区被子RDD的所有分区所用（一个父RDD分区的数据被分发到子RDD的所有分区），即父RDD的数据被重新规划分区（被重新洗牌）。

两种RDD依赖的关系图如下所示：

0x02 Stage

RDD在执行action操作时，会触发Job的提交，Spark会根据RDD的DAG图，将Job划分成多个阶段，每个阶段称为一个Stage。
Stage分为两种：Shuffle Map Stage和Result Stage。

Shuffle Map Stage：case its tasks’ results are input for other stage(s)——Shuffle Map Stage阶段的task结果被输入到其他Stage。
Result Stage：Result Stage阶段的task结果直接是job的结果，也就是说包含最后一个RDD的Stage就是Result Stage。

Shuffle Map Stage中的Task称为ShuffleMapTask，Result Stage中的Task称为ResultTask。

0x03 Stage的划分

Spark的Job会根据RDD的依赖关系来划分Stage，划分Stage的整体逻辑是：

从最后一个RDD往前推，遇到窄依赖的父RDD时，就将这个父RDD加入子RDD所在的stage；遇到宽依赖的父RDD时就断开，父RDD被划分为新的stage。

为什么遇到宽依赖需要切分Stage？

原因是：保证同一个Stage中的所有Task可以并行执行。

对于窄依赖，父子RDD的partition依赖关系是一对一，所以将子RDD的partition和其依赖的父RDD的partition放在同一个线程里处理，不同的线程可以并行的执行不同partition的转换处理。
而对于宽依赖，因为子RDD的每个partition都依赖父RDD的所有partition，所以子RDD的partition转换处理需要等父RDD的所有partition处理完成才能开始。所以宽依赖的父RDD不能和子RDD放在同一个Stage中。