130、Spark核心编程进阶之yarn-cluster模式原理

yarn-cluster模式原理.png

yarn-cluster与yarn-client唯一的不同
yarn-client下，driver运行在spark-submit提交的机器上，ApplicationMaster只是相当于一个ExecutorLauncher，仅仅负责申请启动executor；具体负责调度的，还是driver
yarn-cluster下，ApplicationMaster是driver；具体负责调度的，也是ApplicationMaster

yarn-client下，driver所在机器可能跟yarn集群不在一起，所以性能可能比较差
yarn-cluster下，driver（AM）就在yarn集群中，进行复杂调度的时候，网络通信性能较好

yarn-client用于在测试环境中，进行测试，方便你看日志
yarn-cluster推荐作业部署上线运行时使用，性能比较好