Spark的Master、Worker、Executor以及task等概念

1、先表结论,如下图所示:

Spark的Master、Worker、Executor以及task等概念


2、文字说明:

  • 每个Worker上存在一个或者多个ExecutorBackend 进程。每个进程包含一个Executor对象,该对象持有一个线程
    池,每个线程可以执行一个task。
  • 每个application包含一个 driver 和多个 executors,每个 executor里面运行的tasks都属于同一个application
  • 每个Worker上存在一个或者多个ExecutorBackend 进程。
  • 每个进程包含一个Executor对象,该对象持有一个线程池,每个线程可以执行一个task。