HBase底层原理

HBase底层原理

系统架构：

Client：
1 包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如regione的位置信息。

Zookeeper：
1、zk的选举机制 保证任何时候，集群中只有一个master
2、 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master
3、 存贮所有Region的寻址入口
4 、存储Hbase的schema,包括有哪些table，每个table有哪些column family
Master职责
1 为Region server分配region
2 负责region server的负载均衡
3 发现失效的region server并重新分配其上的region
4 处理schema更新请求
Region Server职责
1 Region server维护Master分配给它的region，处理对这些region的IO请求
2 Region server负责切分在运行过程中变得过大的region
HBase的表数据模型

Row Key（hbase最重要的设计）
访问hbase数据的方式（作用在rowkey）：
1 通过单个row key访问、
2 通过row key的start key， endkey
3 全表扫描
rowkey 的要求：
最大长度是 64KB
Hbase会对表中的数据按照rowkey排序（字典顺序）
字典序对int排序的结果是：
1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
列族Column Family
列族是表的schema（表名称-列族）的一部分，而列不是。
每个列，都归属与某个列族
列Column
列族下面的具体列，属于某一个ColumnFamily
时间戳
时间戳可以由hbase(在数据写入时自动 )赋值，工程师也可以自己设置时间戳。
不同版本的数据按照时间倒序排序。
hbase提供了两种数据版本回收方式：
1 保存数据的最后n个版本
2 保存最近一段时间内的版本
hbase确定一个数据
{row key, column( = + ), version} 唯一确定的单元。
Cell
由{row key, column( = + ), version} 唯一确定的单元。
cell中的数据是没有类型的，全部是字节码形式存贮。
VersionNum
数据的版本号，每条数据可以有多个版本号，默认值为系统时间戳，类型为Long
物理存储
1、整体结构：

一个regionserver内可以存储多个表的region
一个表内的region,只属于这个表。但是这个表的region,可能分配到不同的节点（regionserver）上。

region 的拆分
region按大小分割的(默认10G)，每个表一开始只有一个region，当数据量达到阈值（10G）时，会将一个region 等分成两个region.
region是Hbase中分布式存储和负载均衡的最小单元,
regionserver与region是一对多的关系。一个region是能属于一个regionserver.一个regioserver可以存储多个region。

rgion内部细分
HRegion由一个或者多个Store组成，每个store保存一个column family。每个Strore又由一个memStore和0
至多个StoreFile组成
数据查询时，客户端检索数据时，先在memstore找，找不到再找storefile。


STORE FILE & HFILE结构
StoreFile以HFile格式保存在HDFS上。
附：HFile的格式为：

首先HFile文件是不定长的，长度固定的只有其中的两块：Trailer和FileInfo。正如图中所示的，Trailer中有指针指向其他数据块的起始点。
File Info中记录了文件的一些Meta信息，例如：AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等。
Data Index和Meta Index块记录了每个Data块和Meta块的起始点。
Data Block是HBase I/O的基本单元，为了提高效率，HRegionServer中有基于LRU的Block Cache机制。每个Data块的大小可以在创建一个Table的时候通过参数指定，大号的Block有利于顺序Scan，小号Block利于随机查询。 每个Data块除了开头的Magic以外就是一个个KeyValue对拼接而成, Magic内容就是一些随机数字，目的是防止数据损坏。
HFile里面的每个KeyValue对就是一个简单的byte数组。但是这个byte数组里面包含了很多项，并且有固定的结构。我们来看看里面的具体结构：

开始是两个固定长度的数值，分别表示Key的长度和Value的长度。紧接着是Key，开始是固定长度的数值，表示RowKey的长度，紧接着是 RowKey，然后是固定长度的数值，表示Family的长度，然后是Family，接着是Qualifier（限定符），然后是两个固定长度的数值，表示Time Stamp和Key Type（Put/Delete）。Value部分没有这么复杂的结构，就是纯粹的二进制数据了。
HFile分为几个部分：
Data Block 段–保存表中的数据，这部分可以被压缩
Meta Block 段 (可选的)–保存用户自定义的kv对，可以被压缩。
File Info 段–Hfile的元信息，不被压缩，用户也可以在这一部分添加自己的元信息。
Memstore与storefile
一个region由多个store组成，每个store包含一个列族的所有数据
Store包括位于内存的memstore和位于硬盘的storefile
写操作先写入memstore,当memstore中的数据量达到某个阈值，Hregionserver启动flashcache进程写入storefile,每次写入形成单独一个storefile，输出多个storefile后，当storefile数量达到阈值时，将多个合并成一个大的storefile。
当storefile大小超过一定阈值后，会把当前的region分割成两个，并由Hmaster分配给相应的region服务器，实现负载均衡
客户端检索数据时，先在memstore找，找不到再找storefile
Hlog（WAL）
每个Region Server维护一个Hlog,而不是每个Region一个.
作用：数据在写入内存之前优先写入Hlog, 防止数据丢失。防止数据写入内存后，没有flush之前，断电导致内存内的数据丢失。
弊端：数据的写入速度相对较慢，慢的原因是数据写操作执行两次。
Hlog日志可以关闭，关闭后写入速度能够加快，但是存在数据丢失的风险。
Hlog日志的拆分：
1、当数据写入日之后，如果发生异常，那么就会关闭当前日志文件，生成新的日志。 ​
2、日志人间大小维度：当日志文件大小达到一定的量时，就会关当前日志，生成新的日志。
日志的大小是HDFS数据块大小的0.95倍。
3、时间维度：默认的时间为1小时，即一个小时生成一个日志文件