YARN框架的认知
YARN概念:是hadoop的资源管理和任务调度的分布式框架
主节点ResourceManager:
- 管理整个集群的资源(CPU和内存)
- 接收Client提交的应用
从节点NodeManager：
- 每个节点的资源管理(CPU和内存)
运行在YARN集群上的每个应用，YARN会为之启动对应的应用管理者ApplicationMaster,用于管理这个应用的运行情况
- 应用中Task资源申请
- 监控Task运行状况
- Task运行失败需要进行调度和处理
YARN服务功能
ResourceManager,简称RM
- 处理客户端请求
- 启动并监控ApplicationMaster
- 监控NodeManager
- 资源分配与调度
ApplicationMaster，简称AM
- 数据切分
- 为应用程序申请资源并分配内部任务
- 任务监控与容错
NodeManager
- 单个节点的资源管理
- 处理来自RM的命令
- 处理来自AM的命令
Container
- 任务运行环境容器：封装了CPU、内存等多维资源、环境变量、启动命令等任务运行相关的信息