架构图：

 

首先写一个WordCount代码（这个代码，为了观察多个suffle操作，我写了两个reducebykey 函数）

源代码：

 

直接执行代码，查看spark执行程序时，将代码划分stage生成的DAG流程图

 

可知： WordCount 在stage划分的时候，划分为三个stage 

即在代码中如下标识：

 

 

本文继续说task的执行流程。

接上文： 

Spark2.3.2源码解析： 10. 调度系统 Task任务提交 （一） DAGScheduler 之 stage 提交

https://mp.****.net/postedit/85201386

 

接着调用执行的是：

org.apache.spark.scheduler.TaskSchedulerImpl#submitTasks

好，接下来开始讲解：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

未完待续。。。。