Spark Worker原理解析

1.Spark源码剖析
2.Worker启动Driver源码
3.Worker启动Executor源码
4.Worker与Master交互

Spark Worker原理解析
一:worker启动driver内幕和流程机制

1, Cluster中的Driver失败的时候,如果supervise为true,则启动该Driver的Worker会负责重新启动该Driver

2, DriverRunner启动进程是通过processBuilder中的process.get.waitFor来完成;

3, ExecutorRunner启动进程与DriverRunner类似:通过processBuilder中的process.waitFor来完成;