HBASE写数据流程

HBASE写数据流程1.当客户端发送put请求,先请求ZK集群,ZK集群会先校验master节点存在否,存在则可以写数据,master不存在则不能写数据,会报错,ZK集群中会有一个节点,会告诉你插入的元数据在哪个region上,

2.ZK集群会返回给客户端meta的位置在哪个region上,

3.请求region获取元数据表

4.将meta下载到本地缓存,然后开始进行解析meta表,解析后能分析出key该存到哪台机器上,哪个region上,

5.开始请求regionserver开始写数据,会找到对应的region,然后找到对应的store(列族),写道内存对象(memstore)中,写数据的时候一边往内存中写,一边往日志中写,把一边往日志写和一边往内存中写都往到一个事务中,来保证两个写的一致性,

6.当单个mestore达到128M时,或者节点的内存达到阈值,挥着操作的次数达到一定的数量,就开始往下flush了,每flush会生成一个storeFile(在HBase中是storeFile在H DFS中是Hfile两个是一样的)刷新就是把数据从内存中写道磁盘中,

7.Hdfs中有一个是记录日志的,storeFile的列族会刷新到hdfs中的region中,形成Hfile.