初识Hadoop
- 1.课程目录
- 2.Hadoop概述
- 3. Hadoop核心组件之HDFS概述
- 4.Hadoop核心组件之MapReduce
- 5.Hadoop核心组件之YARN
- 6.Hadoop优势
- 7.Hadoop发展史
- 8.Hadoop生态圈
- 9.Hadoop发行版选型
- 10.OOTB环境的使用
1.课程目录
2.Hadoop概述
Hadoop名字的由来,Doug Cutting 是其创始人
Hadoop是其孩子的大象玩具的名字
补充:
Spring的创始人:Rod Johnson
The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.
Hadoop:是一个分布式的系统基础架构(用户可以在不了解分布式底层细节的情况下进行使用),提供分布式的存储(一个文件被拆分成很多块,并且以副本 的方式存储在各个节点中)和计算。
分布式文件系统:HDFS 实习将文件分布式存储在很多的服务器上
分布式计算框架:MapReduce实现在很多机器上分布式并行计算
分布式资源调度框架:YARN 实现集群资源管理以及作业调度
3. Hadoop核心组件之HDFS概述
HDFS是Google 的GFS论文实现,是GFS的克隆
HDFS:扩展性、容错性、海量存储
工作机制:
- 将文件切分成指定大小的数据块并以多副本的存储在多个机器上
- 数据的切分、多副本、容错等操作对用户是透明的
4.Hadoop核心组件之MapReduce
MapReduce是Google的MapReduce论文的实现,是Goole MapReduce的克隆
特点:扩展性、容错性、海量数据离线处理
5.Hadoop核心组件之YARN
- YARN:Yet Another Resource Negotiator
- 负责整个集群资源的管理和调度
- 特点:扩展性、容错性、多框架资源统一调度
6.Hadoop优势
1.高可靠性
- 数据存储:数据块多副本
- 数据计算:重新调度作业计算
2 高扩展性
- 存储/计算资源不够时,可以横向的线性扩展机器
- 一个集群中可以包含数以千计的节点
3 存储在廉价的机器上,降低成本
4 成熟的生态圈
7.Hadoop发展史
Hadoop诞生于2006年1月28日
8.Hadoop生态圈
- 狭义的Hadoop
是一个适合大数据分布式存储(HDFS)、分布式计算(MapReduce)和资源调度(YARN)的平台
- 广义的Hadoop
指的是Hadoop生态系统,Hadoop生态系统是一个很庞大的概念,Hadoop是其中最重要最基础的一个部分;生态系统中的每一个子系统只解决某一个特定的问题领,不搞统一的全能性系统,而是小而精的多个小系统
补充:ZooKeeper为什么叫ZooKeeper,因为其管理的软件都是动物