Hadoop学习--简介(1)

1.Hadoop简介

1.1 Hadoop优势

  • 高可靠性:Hadoop底层维护多个数据副本,即使Hadoop某个计算元素或存储出现故障,也不会导致数据丢失
  • 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点
  • 高效性:在MapReduce思想下,Hadoop是并行工作的
  • 高容错性:能够自动将失败的任务重新分配

1.2 Hadoop组成(面试重点)

Hadoop1.x和Hadoop2.x区别
Hadoop学习--简介(1)

1.2.1 HDFS架构概述

Hadoop学习--简介(1)

1.2.2 YARN架构

Hadoop学习--简介(1)

1.2.3MapReduce架构

MapReduce将计算过程分为两个阶段,Map和Reduce;

  • Map阶段并行处理输入数据
  • Reduce阶段对Map结果进行汇总

如下图所示
Hadoop学习--简介(1)

1.3 大数据技术生态系统

Hadoop学习--简介(1)

1.4 推荐系统项目框架

Hadoop学习--简介(1)