Hadoop基础概念
Hadoop模块组成:
-
HDFS: 用于储存(可靠的,高吞量的分布式文件系统)
-
MapReduce: 用于计算(分布式的离线并行计算框架)
-
YARN: 用于资源调度(作业调度与集群资源管理框架)
-
Common: 支持其他模块的工具模块
文件系统核心模块：
hdfs的组成
| NameNode: | 集群当中的主节点,用于管理集群中的各种元数据 |
| DataNode | 集群当中的从节点，主要用于存储集群当中的各种数据 |
| secondaryNameNode: | 主要能用于Hadoop当中元数据信息的辅助管理 |
数据计算核心模块：
yarn的组成
| ResourceManager | 接收用户的计算请求任务，并负责集群的资源分配 |
| NodeManager | 负责执行主节点APPmaster分配的任务 |