Hadoop入门学习重点总结
一、大数据概论
1.大数据特点(4V)
(1)大量(volume):数据量大
(2)高速(Velocity):数据量增长速度快
(3)多样(Variety):数据格式多样性
(4)低价值密度(Value):有效数据占比小
2.大数据部门组织结构
二、Hadoop框架概述
1.Hadoop优势(4高)
(1)高可靠性:数据备份多份
(2)高扩展性:集群可以横向扩展
(3)高效性:mapreduce是并行工作的
(4)高容错性:失败的任务将被重新分配执行
2.Hadoop组成
(1)Hadoop1.x和Hadoop2.x的区别:
Hadoop1.x中MapReduce负责计算和资源调度,Hadoop2.x中新增了Yarn负责资源调度,实现了计算和资源调度的解耦合。
(2)Hdfs架构概述
(1)NameNode:存储元数据文件,文件的目录结构,文件副本数、权限等
(2)DataNode:存储块数据和校验和
(3)SecondaryNameNode:辅助NameNode将内存中的数据写入磁盘以及进行数据的恢复,每隔一段时间获取Hdfs元数据的快照