hadoop yarn


yarn:资源调度和任务管理
四大组件:ResoureManager(RM)、NodeManager(NM)、App Mstr、Container

hadoop yarn

YARN执行流程

hadoop yarn
1、client连接RM提交作业,RM给client一个jobId
2、RM中的Applications Manager连接一个NM,让NM创建一个AM处理客户端的作业请求
3、AM连接RM中的ApplicationsManager申请NodeManager
4、AM连接RM中的ResourceScheduler去给client的作业申请资源(cpu、内存、磁盘、网络)
5、AM连接NM,发送client job作业程序和申请的资源(cpu、内存、磁盘、网络)
6、NM启动Container进程运行job的不同任务
7、container进程运行状态实时反馈给AM
8、AM反馈状态信息给RM中的Applications Manager
9、client端可以连接RM或AM查询job的执行情况
注意:NM启动后去RM上进行注册,会不断发送心跳,说明处于存活状态

YARN组件作业

hadoop yarn
hadoop yarn