Hadoop的优势与组成
1.Hadoop的优势
-
高可靠性: Hadoop底层维护多个数据副本,所以即使hadoop某个计算元素或存储出现故障,也不会导致数据的丢失.
-
高扩展性:在集群间分配任务数据,咳方便的扩展数以千计的节点.
-
高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度.
-
高容错性:能够自动将失败的任务重新分配.
2.Hadoop的组成
HDFS架构概述
- NameNode(nn)
:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等; - DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和;
- Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份.
YARN架构概述:
MapReduce架构概述
MapReduce将计算过程分为两个阶段：Map和Reduce
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总