大数据学习心得-2020-09-17--简述yarn上常见的三种资源调度器

yarn中的三种资源调度器

• Hadoop中的作业调度器主要又三种

  • FIFO调度器
  • Capacity调度器
  • Fair调度器

  其中Hadoop2.7.2默认的时capacity调度器

先进先出调度器（FIFO）

• 特点，所有作业被统一提交到一个队列中，hadoop按提交顺序依次运行这些作业

• 缺点，FIFO调度器的调度策略过于简单，不仅不能满足多样化需求，也不能充分利用硬件资源

容器调度器（Capacity Scheduler）

• capacity调度器由yahoo开发的多用户调度器
• 以队列为单位划分资源，每个队列可设定一定比例的资源最低保证和使用上限
• 当一个队列由剩余资源的时候可以共享给其他队列

公平调度器（Fair Scheduler）

• 由FaceBook开发的多用户调度器
• 其目的时让所有的作业随着时间的推移，都能获取等同的共享资源
• 当一个作业运行时，它会使用集群上所有的资源，一旦有心得作业提交上来，系统会将空闲资源奉陪给新的作业每个任务大致上获取平等数量的资源
• 同capacity调度器，以队列为单位划分资源，每个队列可设定一定比例的资源最低保证和使用上限