hadoop yarn里面的基本架构
yarn的基本架构
yarn的基本思想是讲JobTracker的资源管理和作业调/监控两大主要职能拆分为两个独立的进程：一个是全局的Resource Manager（RM），以及一个每个应用对应的Application Master（AM), Resource Manager（RM）和每个节点上的Node Manager（NM）组成了一个全新的通用操作系统，以及一个分布式的方法管理应用程序
Resource Manager拥有系统所有应用分配资源的决定权， 其中RM有一个可插拔的调度组件Scheduler，他负责为运行中的各个应用分配资源，Scheduler只是一纯粹的调度器，不负责应用的监控与状态跟踪，也不保证应用失败或者硬件失败的情况下对任务进行重启。Scheduler在基于应用的资源需求进行调度室使用了一个叫资源容器（Container）的抽象概念。容器包含了多种资源维度，例如 cpu，内存，磁盘以及网络。
Application Master负责与RM协商资源，并与Scheduler 协同工作来执行和监控任务。
Node Manager每台机器对应的从属进程，负责启动应用Container，监控资源使用情况，并且报告给Resource Manager。
组件介绍
Resource Manager（RM）
Resource Manager 是一个纯粹的调度器 它负责整个系统的资源管理和分配，它有两个组件构成， 调度器（Scheduler） 和应用程序管理器（Application Master）。它不会进行具体的应用程序相关的工作，这一切都是由Application Master 完成。
Application Master（AM）
Application Master 是与Resource Manager 协同工作来执行和监控Container以及他们的资源消耗.
Application Master的作用主要有以下几个：
- 与调度器协商资源；
- 与Node Manager合作 在合适的Container中运行对应的组件 Task并且监控这些Task执行；
- 如果Container出现故障，AM会重新向调度器申请其他资源；
- 计算应用程序所需要的的资源故障，并且转化成调度器可识别的协议信息包；
- 在AM出现故障后 RM会发现后会在一个新的Container中（由Node Manager创建）开启一个新的Application Master，由Application Master自己从之前保存的应用程序执行状态中恢复应用程序
Node Manager（NM）
Node Manager负责启动应用的Container，监控Container的资源使用，并且把这些信息汇报给调度器，集群中每个节点都有一个Node Manager，它主要负责：
- 为应用启动调度器，以分配给应用的Container；
- 已启用的Container不会使用超过分配的资源量；
- 为Task创建Container环境，包括二进制可执行文件.jars等；
- 为所在的节点提供一个管理本地存储资源的简单服务；
Yarn工作流程
yarn的工作流程大致包括以下5个步骤：
1： 客户端提交MapReduce任务。
2：Yarn的Resource Manager负责协调集群上资源的分配。
3：Yarn的Node Manager 负责启动和监控集群中的Container。
4：Application Master负责协调运行MapReduce任务，他和MapReduce任务在Container中进行，这些Container由Resource Manager分配， 对Node Manager进行管理。
5：HDFS用来与其他实体间共享作业文件
步骤1： 用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
步骤2： ResourceManager为该应用程序分配第一个Container，并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。
步骤3： ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManager查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。
步骤4： ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。
步骤5： 一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。
步骤6： NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
步骤7： 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。
步骤8： 应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己。