Hadoop学习--简介(1)
1.Hadoop简介
1.1 Hadoop优势
- 高可靠性:Hadoop底层维护多个数据副本,即使Hadoop某个计算元素或存储出现故障,也不会导致数据丢失
- 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点
- 高效性:在MapReduce思想下,Hadoop是并行工作的
- 高容错性:能够自动将失败的任务重新分配
1.2 Hadoop组成(面试重点)
Hadoop1.x和Hadoop2.x区别
1.2.1 HDFS架构概述
1.2.2 YARN架构
1.2.3MapReduce架构
MapReduce将计算过程分为两个阶段,Map和Reduce;
- Map阶段并行处理输入数据
- Reduce阶段对Map结果进行汇总
如下图所示