HBase理论详解

HBase官方解释：

Apache HBase™是Hadoop数据库，这是一个分布式，可扩展的大数据存储。

当您需要随机，实时读取/写入您的大数据时使用Apache HBase™。 该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。 Apache HBase是一个开源的，分布式的，版本化的非关系数据库，其模型是在Chang等人的Google Bigtable：结构化数据分布式存储系统之后建立的。 就像Bigtable利用Google文件系统提供的分布式数据存储一样，Apache HBase在Hadoop和HDFS之上提供了类似Bigtable的功能。

 这里再看一下官方对HDFS的解释：

Hadoop分布式文件系统（HDFS）是一种分布式文件系统，设计用于在商品硬件上运行。 它与现有的分布式文件系统有许多相似之处。 但是，与其他分布式文件系统的差异很大。 HDFS具有高度容错能力，旨在部署在低成本硬件上。 HDFS提供对应用程序数据的高吞吐量访问，适用于具有大型数据集的应用程序。 HDFS放宽了一些POSIX要求，以启用对文件系统数据的流式访问。 HDFS最初是作为Apache Nutch网络搜索引擎项目的基础架构而构建的。 HDFS现在是一个Apache Hadoop子项目。 项目URL是

http://hadoop.apache.org/hdfs/。

 HBase特征：

线性和模块化的可扩展性。

严格一致的读取和写入。

自动和可配置的表分片

区域服务器之间的自动故障转移支持。

方便的基类，用于使用Apache HBase表来支持Hadoop MapReduce作业。

易于使用Java API进行客户端访问。

阻止缓存和布隆过滤器进行实时查询。

通过服务器端过滤器查询谓词下推

Thrift网关和支持XML，Protobuf和二进制数据编码选项的REST-ful Web服务

基于可扩展jruby（JIRB）外壳

支持通过Hadoop指标子系统将度量标准导出到文件或Ganglia; 或通过JMX

 HDFS和Hbase究竟是什么？

HDFS容错率很高，即便是在系统崩溃的情况下，也能够在节点之间快速传输数据。HBase是非关系数据库，是开源的Not-Only-SQL数据库，它的运行建立在Hadoop上。HBase依赖于CAP定理(Consistency, Availability, and Partition Tolerance）中的CP项。

HDFS最适于执行批次分析。然而，它最大的缺点是无法执行实时分析，而实时分析是信息科技行业的标配。HBase能够处理大规模数据，它不适于批次分析，但它可以向Hadoop实时地调用数据。

HDFS和HBase都可以处理结构、半结构和非结构数据。因为HDFS建立在旧的MapReduce框架上，所以它缺乏内存引擎，数据分析速度较慢。相反，HBase使用了内存引擎，大大提高了数据的读写速度。

HDFS执行的数据分析过程是透明的。HBase与之相反，因为其结构基于NoSQL，它通过在不同的关键字下进行排序而获取数据。

 

我们往HBase数据库写入的数据最终都存入HDFS中。

就好比mysql和windows系统一样，如果一个Windows系统中装了mysql数据库，数据最终都保存在Windows系统中。

 

hadoop是用来处理大数据的，大数据从哪里来？是通过flume日志收集工具收集来的，或者从关系型数据库中通过sqoop来导入的。mahout是用MapReduce写的一些算法包，Hive的主要任务是把SQL翻译成MapReduce来执行的，Pig相当于一门新的语言，功能和hive类似，不过对于一般人来说更愿意用Hive，毕竟大部分人都对SQL比较熟悉（不过Pig的确比hive强大一些）。

 

 HBase简介

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、

实时读写的分布式数据库

利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理

HBase中的海量数据,利用Zookeeper作为其分布式协同服务

主要用来存储非结构化和半结构化的松散数据（列存 NoSQL 数据库）

解释：

高可靠性是因为HBase的数据是存入HDFS上面的，因为HDFS具有高可靠性。而从服务方面来说，又有Zookeeper来保证（zookeeper通过内部选举机制）

高性能来说，HBase对于TB的数据来说也是很轻松的

面向列：本质是面向列族

可伸缩：横向和纵向都可以

实时读写：毫秒级的（想象一下hive那种反应速度...真的低到爆）

 和关系型数据库简单对比：

 

HBase数据模型

ROW KEY(相当于关系数据库中的id)

（1） 决定一行数据

（2）按照字典顺序排序的。

（3）Row key只能存储64k的字节数据

 

 Column Family列族 & qualifier列

（1）HBase表中的每个列都归属于某个列族，列族必须作为表模式(schema)

定义的一部分预先给出。如 create ‘test’, ‘course’；

（2）列名以列族作为前缀，每个“列族”都可以有多个列成员(column)；如

course:math, course:english, 新的列族成员（列）可以随后按需、动态加

入；

– 权限控制、存储以及调优都是在列族层面进行的；

– HBase把同一列族里面的数据存储在同一目录下，由几个文件保存。

 

 Timestamp时间戳

（1）在HBase每个cell存储单元对同一份数据有多个版本，（每修改一次数据就会生成不同的版本）根据唯一的时间

戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，

最新的数据版本排在最前面(目的：新值比老值更容易被读取)。

（2）时间戳的类型是 64位整型。

（3）时间戳可以由HBase(在数据写入时自动)赋值，此时时间戳是精确到毫

秒的当前系统时间。

（4）时间戳也可以由客户显式赋值，如果应用程序要避免数据版本冲突，

就必须自己生成具有唯一性的时间戳。

 

 

 Cell单元格

（1）由行和列的坐标交叉决定；（rowkey+列）

（2）单元格是有版本的；

（3）单元格的内容是未解析的字节数组；

• 由 {row key， column( =<family> +<qualifier>)， version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

如何找cell单元格中的数据？

先通过行rowkey，然后通过列族和列找到对应的单元格cell，单元号有版本，然后根据版本找到对应的版本数据。

 

 HLog(WAL log)

（1）HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是

HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和

region名字外，同时还包括 sequence number和timestamp，timestamp是”

写入时间”，sequence number的起始值为0，或者是最近一次存入文件系

统中sequence number。

（2）HLog SequeceFile的Value是HBase的KeyValue对象，即对应HFile中的

KeyValue。

 

注意这个日志文件，不仅记录操作数据库的行为，还记录了数据。（万一服务器down掉后，可以通过日志来恢复数据）

 

 Client

包含访问HBase的接口并维护cache来加快对HBase的访问

Zookeeper（这里不仅仅做高可用，区分在HDFS中的作用）

（1） 保证任何时候，集群中只有一个master

（2）存贮所有Region的寻址入口。-------

（3）实时监控Region server的上线和下线信息。并实时通知Master（检查从节点）

（4）存储HBase的schema和table元数据

 

Master

（1）为Region server分配region

（2）负责Region server的负载均衡（这里举个例子：比如有两个Region server ，第一个里面有10个region，第二个里面只有1个region，这就会造成数据倾斜，而HMaster就会自动把第一个region server中的region分配给第二个region server上，从而达到负载均衡）

（3）发现失效的Region server并重新分配其上的region（Zookeeper对Region server实时监控）

（4）管理用户对table的增删改操作

 

RegionServer

（1）Region server维护region，处理对这些region的IO请求

（2）Region server负责切分在运行过程中变得过大的region（分成两个大小基本相同的region，比如共有100行数据，那么就分成两个50行，如果是101行，就一个51一个50类似于这样的切分，绝对不会把一行的数据切分开）

 Region

HBase自动把表水平划分成多个区域(region)，每个region会保存一个表

里面某段连续的数据；（为什么是连续？主要是因为rowkey是有序的）

 

每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region（裂变）；

当table中的行不断增多，就会有越来越多的region。这样一张完整的表

被保存在多个Regionserver 上。

 

 Memstore 与 storefile

– 一个region由多个store组成，一个store对应一个CF（列族）

– store包括位于内存中的memstore和位于磁盘的storefile写操作先写入

memstore，(写缓存先往内存写，效率高)当memstore中的数据达到某个阈值，hregionserver会启动flashcache进程写入storefile，每次写入形成单独的一个storefile

– 当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、

major compaction），在合并过程中会进行版本合并和删除工作

（majar），形成更大的storefile

注：minor和majar详解  

http://blog.163.com/captain_zmc/blog/static/20401258820131018103527802/

storefile以hfile的形式存储在HDFS中，hfile的存储是经过排序的键值映射结构。文件内部由连续的块组成，块的索引信息存储在文件的尾部。

 

这里有个删除操作是删除什么的？

我们知道cell单元格的数据都是有版本号的，比如之前有cf：data=1；这个数据，然后我们如果再往这个单元格写一个cf：data=2；很明显这个数据的版本比之前的新(时间戳决定的)，所以第一条数据就会成为失效数据，那么在合并的时候删除的就是这些数据。

 

（为什么要合并？我们知道大数据不适合处理小文件，原因是小文件虽然处理起来很快，但是每个小文件都需要开启一个maptask任务去执行，这样会造成巨大的资源浪费）

 

– 当一个region所有storefile的大小和超过一定阈值后，会把当前的region

分割为两个，并由hmaster分配到相应的regionserver服务器，实现负载

均衡

– 客户端检索数据，先在memstore找，找不到再找storefile（内存缓存效率高啊，肯定先找内存了）

 

每个store保存一个列族。

 

简单总结一个基本流程：客户端联系Zookeeper获取region的位置，然后联系管理数据的HRegionServer，HRegionServer创建HRegion的实例，HRegion会为每个表的列族创建一个Store实例，每个Store包括一个或多个StoreFile实例（是实际存储文件HFile的封装）