TODO--Spark任务调度之Driver&TaskScheduler处理返回结果

概述


本文接上文Spark 任务调度之Executor执行task并返回结果,剖析Driver接收到结果后的操作,以及TaskScheduler的先关操作。
本文待续
但是先说下大概,(猜测):

  1. Driver接收到返回消息,那么将Result交给TaskScheduler去处理,自己则负责调度Executor执行下一个Task;
  2. TaskScheduler则接收一个个的Result,会交给DAGScheduler去处理
  3. DAGScheduler,会针对当前Stages的TaskSet,等待其中所有Task执行完成,而当Stages执行完成之后,就是开始下一个Stage执行,例如下面的Stages,会逐个去执行。
    TODO--Spark任务调度之Driver&TaskScheduler处理返回结果
    也就是在这个地方,能体现出Stage划分对于运行速度的影响。

1.CoarseGrainedSchedulerBackend接收Executor返回消息


TODO--Spark任务调度之Driver&TaskScheduler处理返回结果