Hadoop体系之YARN
一、剖析YARN 运行机制
从YARN运行图来看，客户端在客户端节点向资源管理器发送运行application master 的请求。资源管理器为 application master 提供运行容器。application master可向资源管理器请求分配更多的容器实现分布式运行。application master的运行均在container（容器）中完成。
1. YARN 通过两类长期运行的守护进程提供自己的核心服务，即 resourse manager（管理集群资源使用的资源管理器）和 node manager（运行在集群中所有节点且能够启动和监控容器的节点管理器）。
2. YARN本身并不会为应用的各部分彼此间通信提供任何手段。
二、资源请求
1、YARN有一个灵活的资源请求模型，当请求多个容器时，可以指定每个容器需要的计算机资源数量（内存和CPU），还可以指定对容器的本地限制要求。
2、 YARN允许一个应用为所申请的容器指定本地限制。本地限制可用于申请位于指定节点或机架，或集群中的任何一个容器。
节点申请容器的过程：
三、应用周期
应用到用户运行的作业之间的映射关系：1、一个用户作业对应一个应用。（MapReduce对应的工作方式） 2、作业的每个工作流或每个用户对话对应一个应用。（该模型效率较高，因为容器在作业之间可以重用，并且有可能缓存作业之间的中间数据。spark采取的就是这种模式）。3、多个用户共享一个长期运行的应用。这种应用通常是作为一种协调者的角色在运行。
四、YARN和MapReduce1 比较
|
|
MapReduce 1 |
YARN |
|
组成结构 |
Jobtracker、Tasktracker、Slot （Jobtracker通过调度tasktracker上运行的作业来协调所有运行在系统上的作业。Tasktracker在运行任务的同时将运行报告发送给Jobtracker，jobtracker由此记录每项任务的整体运行情况。） |
资源管理器、application master 、时间轴服务器、节点管理器、容器 |
|
可拓展性 |
当节点数达到4000，任务数达到40000时，MapReduce 1的可拓展性面临瓶颈。其原因是jobtracker必须同时管理作业和任务。 |
YARN利用其资源管理器和application master分离的架构优势克服了这个局限性。 |
|
可用性 |
当服务守护进程失败时，通过为另一个守护进程复制接管工作所需的状态，以便继续提供服务，从而可获得高可用性。 然而，Jobtracker内存中大量快速变化的复杂状态，使得改进jobtracker服务获得高可用性较为困难。 |
YARN中jobtracker在资源管理器和application master之间进行了职责划分，高可用的服务成为了一个分而治之的问题。 |
|
利用率 |
MapReduce 1 中，每个tasktracker都配置若干长度的slot。这些slot是静态分配的，在配置的时候就分为map slot 和 reduce slot。一个map slot仅能运行一个map任务。 |
YARN中，一个节点管理一个资源池，而不是制定固定数目的slot。相比于MapReduce 1 ，YARN上运行的mapreduce 不会出现由于集群中只有map slot可用，导致reducce任务必须等待的情况。 |
|
多租户 |
|
|
五、调度选项对比
|
|
概念 |
优势 |
劣势 |
备注 |
|
FIFO调度器 |
应用放置在一个队列中，然后按照提交顺序(先进先出)运行应用。 |
简单易懂，不需要进行任何配置 |
不适合共享集群，大的应用会占用集群全部资源。 |
|
|
容量调度器 |
一个独立的专门队列保证小作业一提交便可以启动，由于队列容量是为那个队列中的作业所保留的，因此这种方法是以整个集群的利用率为代价。 |
长时间运行并完成作业，允许正在进行较小临时查询的用户能够在合理时间内得到返回结果。 |
与FIFO调度器相比，大作业执行时间长。 |
|
|
公平调度器 |
不需要预留一定的资源。因为调度器会在运行的作业之间实现动态平衡资源，第一个大作业启动时，它也是唯一运行的作业，因而获得集群中的全部资源，当第二个作业启动时，它被分配到集群的一半资源。 |
集群利用率较高，所有的作业都能够完成。 |
存在时间滞后 |
从第二个作业启动到获得公平共享资源之间会有时间滞后，因为它必须等待第一个使用的容器用完并释放资源，当小作业结束且不再申请资源后，大作业将回去再次使用全部的集群资源。 |
六、延迟调度
所有YARN调度器都试图以本地请求为重。在一个繁忙的集群上，如果一个应用请求某个节点，那么极有可能此时有其他容器正在该节点上运行，显而易见的处理是，立刻放宽本地限制，在同一机架上分配一个容器。然而，通过实践发现，此时如果等待一小段时间，能够戏剧性的增加在所请求的节点分配到 一个容器的机会，从而可以提高集群的效率。这个特性称之为延迟调度。容量调度器和公平调度器都支持延迟调度。
七、主导资源公平性
主导资源公平性：观察每个用户的主导资源，并将其作为对集群使用的一个度量。
例如：某集群100个CPU和10TB的集群。应用A请求的每份容器资源为2个CPU和300GB内存。应用B请求的每份容器资源为6个CPU和100GB内存。对应用A来说，内存占比大于CPU占比，所有应用A的主导资源是内存，则B的主导资源是CPU。应用B申请的资源是A的两倍，所以在公平调度下，B将分到一半的容器数。