Spark的Master、Worker、Executor以及task等概念
1、先表结论,如下图所示:
2、文字说明:
- 每个Worker上存在一个或者多个ExecutorBackend 进程。每个进程包含一个Executor对象,该对象持有一个线程
池,每个线程可以执行一个task。 - 每个application包含一个 driver 和多个 executors,每个 executor里面运行的tasks都属于同一个application。
- 每个Worker上存在一个或者多个ExecutorBackend 进程。
- 每个进程包含一个Executor对象,该对象持有一个线程池,每个线程可以执行一个task。