Yarn详细的工作流程
yarn详细工作流程
第一步:客户端向ResourceManager 申请运行程序
第二步:ResourceManager 检查是否有运行权限,如果有就会返回jobid和程序提交的资源路径
第三步:根据ResourceManager返回的信息,然后执行
第四步:客户端提交程序的资源到tmp/hadoop-yarn-staging/job_id目录下(jar程序本身,job.split逻辑切规划文件,job.xml mr配置文件)
第五步:申请程序运行的资源
第六步:RM根据请求结合mn 找出一台机器运行AppM
第七步:RM 返回MN位置给客户端
第八步:客服端到指定的NM上,通过NM启动container,运行MrAppMaster
第九步:MrAppMaster启动成功,向rm进行汇报并且注册自己
第十步:MrAppMaster读取tmp/hadoop-yarn-staging/job_id目录下job.split 数据(申请资源的多少)
第十一步: 申请与切片数量相应的container
第十二步:RM根据请求返回X台可以用的容器所在的位置
第十三步:APPM执行NM上启动容器运行maptask,监督程序执行
第十四步:maptask执行结束,APPM向RM汇报,回收资源
第十五步:reduce执行结束,APPM向RM汇报,回收资源
第十六步:所有的task结束后,APPM申请运用结束,注销自己