spark部署模式

spark部署模式
spark部署模式
常见的部署方式:

  1. 本地部署:
  2. 本地集群部署:
  3. Standalone部署:
  4. other部署:

部署模式设计的组件:

  1. Application:用户使用Spark API开发的应用程序
  2. Driver:应用驱动程序。有了Driver,APplication才会被提交到Spark集群运行。
  3. Master:Spark的主控节点。
  4. Worker:Spark的工作节点,向Master汇报自身资源、Executor执行状态的改变,并接受Master的命令启动Executor或者Driver。
  5. Executor:Spark的工作进程,由Work监管,负责具体任务的执行。