您的位置: 首页  >  文章  >  HBase底层原理

HBase底层原理

分类: 文章 • 2024-08-13 22:20:58

HBase底层原理

1、系统架构

HBase底层原理
Client
1 包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如regione的位置信息。

Zookeeper
1 保证任何时候，集群中只有一个master
2 存贮所有Region的寻址入口
3 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master
4 存储Hbase的schema,包括有哪些table，每个table有哪些column family

Master职责
1 为Region server分配region
2 负责region server的负载均衡
3 发现失效的region server并重新分配其上的region
4 HDFS上的垃圾文件回收
5 处理schema更新请求

Region Server职责
1 Region server维护Master分配给它的region，处理对这些region的IO请求
2 Region server负责切分在运行过程中变得过大的region

2、表数据结构

Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：
1 通过单个row key访问
2 通过row key的range
3 全表扫描
Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
Hbase会对表中的数据按照rowkey排序(字典顺序)

列族Column Family
hbase表中的每个列，都归属与某个列族。列族是表的schema的一部分(而列不是)，必须在使用表之前定义。
列名都以列族作为前缀。例如courses:history ， courses:math 都属于 courses 这个列族。
访问控制、磁盘和内存的使用统计都是在列族层面进行的。
列族越多，在取一行数据时所要参与IO、搜寻的文件就越多，所以，如果没有必要，不要设置太多的列族

列 Column
列族下面的具体列，属于某一个ColumnFamily,类似于我们mysql当中创建的具体的列

时间戳
HBase中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式：

  • 保存数据的最后n个版本
  • 保存最近一段时间内的版本（设置数据的生命周期TTL）。
    用户可以针对每个列族进行设置。

Cell
由{row key, column( = +

VersionNum
数据的版本号，每条数据可以有多个版本号，默认值为系统时间戳，类型为Long

3、物理存储

整体结构
HBase底层原理
1 Table中的所有行都按照row key的字典序排列。
2 Table 在行的方向上分割为多个Hregion。

3 region按大小分割的(默认10G)，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，Hregion就会等分会两个新的Hregion。当table中的行不断增多，就会有越来越多的Hregion。

4 Hregion是Hbase中分布式存储和负载均衡的最小单元。最小单元就表示不同的Hregion可以分布在不同的HRegion server上。但一个Hregion是不会拆分到多个server上的。

5 HRegion虽然是负载均衡的最小单元，但并不是物理存储的最小单元。
事实上，HRegion由一个或者多个Store组成，每个store保存一个column family。
每个Strore又由一个memStore和0至多个StoreFile组成。如上图

STORE FILE、HFILE结构
StoreFile以HFile格式保存在HDFS上

Memstore与storefile
一个region由多个store组成，每个store包含一个列族的所有数据
Store包括位于内存的memstore和位于硬盘的storefile
写操作先写入memstore,当memstore中的数据量达到某个阈值，Hregionserver启动flashcache进程写入storefile,每次写入形成单独一个storefile
当storefile大小超过一定阈值后，会把当前的region分割成两个，并由Hmaster分配给相应的region服务器，实现负载均衡
客户端检索数据时，先在memstore找，找不到再找storefile

HLog(WAL log)
WAL 意为Write ahead log(http://en.wikipedia.org/wiki/Write-ahead_logging)，类似mysql中的binlog,用来 做灾难恢复时用，Hlog记录数据的所有变更,一旦数据修改，就可以从log中进行恢复。
每个Region Server维护一个Hlog,而不是每个Region一个。这样不同region(来自不同table)的日志会混在一起，这样做的目的是不断追加单个文件相对于同时写多个文件而言，可以减少磁盘寻址次数，因此可以提高对table的写性能。带来的麻烦是，如果一台region server下线，为了恢复其上的region，需要将region server上的log进行拆分，然后分发到其它region server上进行恢复。
HLog文件就是一个普通的Hadoop Sequence File：

  • HLog Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是”写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
  • HLog Sequece File的Value是HBase的KeyValue对象，即对应HFile中的KeyValue，可参见上文描述。

4、读写过程

系统表：

hbase:namespace : 记录Hbase中所有的NameSpace的

hbase:meta : 存储了Hbase中所有表的region信息

meta表位置信息存储在Zookeeper中

写流程

1）client编辑命令：put ‘tbname’,‘rowkey’,‘cf:col’,‘value’ 提交命令

2）根据表名查找写入哪台regionServer

HregionServer保存着meta表以及表数据，要访问表数据，首先访问zookeeper，zookeeper中保存着meta表所在的位置信息

client得到meta表的地址，请求访问meta获取普通表的region信息

根据**‘tbname’查询该表所有的region，根据‘rowkey’**与每个region的起始位置比较，决定写入哪个region

获取该region的名称以及regionServer地址

3）client请求regionServer写入region，提供写入region的地址

4）先写入WAL：预写日志，用于灾难恢复

5）根据**‘cf’**写入store

6）写入memstore

读流程

1）client编辑命令：get ‘tbname’,‘rowkey’,‘cf:col’ 提交命令

2）HregionServer保存着meta表以及表数据，要访问表数据，首先访问zookeeper，zookeeper中保存着meta表所在的位置信息

client得到meta表的地址，请求访问meta获取普通表的region信息

根据**‘tbname’查询该表所有的region，根据‘rowkey’**与每个region的起始位置比较，决定读哪个region

获取该region的名称以及regionServer地址

3）client请求regionServer读region，提供读的region的地址

4）根据‘cf’读哪个store

5）先读‘memstore’，如果没有（如果开启缓存 memcache 在读缓存），再读storefile

5、存储机制

1）Flush

功能：将内存中存储的数据刷新到HDFS，以HFILE形式存储

触发条件：当store中的memstore的存储达到128M

​ 当整个region所使用的的memstore的内存大小达到阈值

​ memstore能使用的内存是整个堆内存的40%

​ region的内存达到95%，开始溢写

解决：手动flush

​ bin/hbase shell file_path

2）Compact 合并

minor compact：轻量级合并，合并最早生成的5个小文件，生成一个较大的文件

major compact：重量级合并，将当前store中所有的storefile文件合并成一个大文件，合并过程中删除被标记为删除的数据

触发：major：hbase.hregion.majorcompaction= 7 天

解决：手动合并，关闭自动major compact

​ 手动进行合并：major_compact

3）split

功能：当某个region中的总的storefile大小达到阈值，会分为两个新的region

触发：hbase.hregion.max.filesize = 10GB

解决：手动进行切割：split

相关推荐