Spark中Standalone的两种提交模式（Standalone-client模式与Standalone-cluster模式）

Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-cluster模式。

1.Standalone-client提交任务方式

提交命令：

./spark-submit --master  spark://node01:7077 --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.
0-hadoop2.6.0.jar 100

解释：–class org.apache.spark.examples.SparkPi main函数

执行流程

1. client模式提交任务后，会在客户端启动Driver进程。
2. Driver会向Master申请启动Application启动的资源。
3. 资源申请成功，Driver端将task发送到worker端执行。
4. worker将task执行结果返回到Driver端。(由代码设置)

总结

5. client模式适用于测试调试程序。Driver进程是在客户端启动的，这里的客户端就是指提交应用程序的当前节点。在Driver端可以看到task执行的情况。生产环境下不能使用client模式，是因为：假设要提交100个application到集群运行，Driver每次都会在client端启动，那么就会导致客户端100次网卡流量暴增的问题。（因为要监控task的运行情况，会占用很多端口，如上图的结果图）客户端网卡通信，都被task监控信息占用。
6. Client端作用
   -任务的分发。
   -结果的回收。(可能)
   -监控task执行情况。
   -任务的重试

2.Standalone-cluster提交任务方式

提交命令

1. 当在客户端提交多个application时，Driver会在Woker节点上随机启动，这种模式会将单节点的网卡流量激增问题分散到集群中。在客户端看不到task执行情况和结果。要去webui中看。
2. cluster模式适用于生产环境
3. Master模式先启动Driver，再启动Application。

./spark-submit  --master spark://node01:7077  --deploy-mode cluster --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.0-hadoop2.6.0.jar  100

执行流程

1. cluster模式提交应用程序后，会向Master请求启动Driver.(而不是启动application)
2. Master接受请求，随机在集群一台节点启动Driver进程。
3. Driver启动后为当前的应用程序申请资源。Master返回资源，并在对应的worker节点上发送消息启动Worker中的executor进程。
4. Driver端发送task到worker节点上执行。
5. worker将执行情况和执行结果返回给Driver端。Driver监控task任务，并回收结果。

总结

1. 当在客户端提交多个application时，Driver会在Woker节点上随机启动，这种模式会将单节点的网卡流量激增问题分散到集群中。在客户端看不到task执行情况和结果。要去webui中看。
2. cluster模式适用于生产环境
3. Master模式先启动Driver，再启动Application。

须知

spark shell 模式是以client提交的(第一种)，所以不能加入--deploy-mode cluster的(第二种) client方式用于测试环境，用于方便查看结果，因为 spark shell 模式以client方式提交，所以 spark shell 模式不支持--deploy-mode cluster提交