图解Spark中CoarseGrainedExecutorBackend的执行流程

Spark在Yarn-Cluster部署模式下,程序在提交之后会依次创建三个进程:SparkSubmit,ApplicationMaster和CoarseGrainedExecutorBackend。本文主要在对源码进行分析之后以图解的方式展示CoarseGrainedExecutorBackend的执行流程。
图解Spark中CoarseGrainedExecutorBackend的执行流程
由上图的执行流程可以看出,CoarseGrainedExecutorBackend进程主要有以下几个作用:
(1)向Driver注册Executor进程
(2)在接收到注册成功的message之后,创建Executor对象
(3)接收Driver分配的任务