1)HBase(概述)
什么是HBase
- HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。
- HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。
- HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据;
HBase特点
- 海量存储
- 列式存储
- 极易扩展
- 高并发
- 稀疏性
HBase架构
HBase架构图
-
Client:
Client包含了访问Hbase的接口,另外Client还维护了对应的cache来加速Hbase的访问,比如cache的.META.元数据的信息。 -
Zookeeper:
HBase通过Zookeeper来做master的高可用、RegionServer的监控、元数据的入口以及集群配置的维护等工作。具体工作如下:- 通过Zoopkeeper来保证集群中只有1个master在运行,如果master异常,会通过竞争机制产生新的master提供服务;
- 通过Zoopkeeper来监控RegionServer的状态,当RegionSevrer有异常的时候,通过回调的形式通知Master RegionServer上下线的信息;
- 通过Zoopkeeper存储元数据的统一入口地址;
-
Hmaster:
master节点的主要职责如下:
① 为RegionServer分配Region
② 维护整个集群的负载均衡
③ 维护集群的元数据信息
④ 发现失效的Region,并将失效的Region分配到正常的RegionServer上
⑤ 当RegionSever失效的时候,协调对应Hlog的拆分 -
HregionServer
HregionServer直接对接用户的读写请求,是真正的“干活”的节点。它的功能概括如下:
① 管理master为其分配的Region
② 处理来自客户端的读写请求
③ 负责和底层HDFS的交互,存储数据到HDFS
④ 负责Region变大以后的拆分
⑤ 负责Storefile的合并工作 -
HDFS
HDFS为Hbase提供最终的底层数据存储服务,同时为HBase提供高可用(Hlog存储在HDFS)的支持,具体功能概括如下:
① 提供元数据和表数据的底层分布式存储服务
② 数据多副本,保证的高可靠和高可用性
HBase中的角色
-
HMaster
功能:- 监控RegionServer
- 处理RegionServer故障转移
- 处理元数据的变更
- 处理region的分配或转移
- 在空闲时间进行数据的负载均衡
- 通过Zookeeper发布自己的位置给客户端
-
RegionServer
功能:- 负责存储HBase的实际数据
- 处理分配给它的Region
- 刷新缓存到HDFS
- 维护Hlog
- 执行压缩
- 负责处理Region分片
-
其他组件
1.Write-Ahead logs
HBase的修改记录,当对HBase读写数据的时候,数据不是直接写进磁盘,它会在内存中保留一段时间(时间以及数据量阈值可以设定)。但把数据保存在内存中可能有更高的概率引起数据丢失,为了解决这个问题,数据会先写在一个叫做Write-Ahead logfile的文件中,然后再写入内存中。所以在系统出现故障的时候,数据可以通过这个日志文件重建;2.Region
Hbase表的分片,HBase表会根据RowKey值被切分成不同的region存储在RegionServer中,在一个RegionServer中可以有多个不同的region3.Store
HFile存储在Store中,一个Store对应HBase表中的一个列族4.MemStore
顾名思义,就是内存存储,位于内存中,用来保存当前的数据操作,所以当数据保存在WAL中之后,RegsionServer会在内存中存储键值对5.HFile
这是在磁盘上保存原始数据的实际的物理文件,是实际的存储文件。StoreFile是以Hfile的形式存储在HDFS的