Yarn的基本工作流程
分类:
文章
•
2024-05-05 13:26:22
- client向yarn提交job，首先找ResourceManager分配资源，
- ResourceManager开启一个Container,在Container中运行一个Application manager
- Application manager找一台nodemanager启动Application master，计算任务所需的计算
- Application master向Application manager（Yarn）申请运行任务所需的资源
- Resource scheduler将资源封装发给Application master
- Application master将获取到的资源分配给各个nodemanager
- 各个nodemanager得到任务和资源开始执行map task
- map task执行结束后，开始执行reduce task
- map task和 reduce task将执行结果反馈给Application master
- Application master将任务执行的结果反馈pplication manager
