【Hadoop】图解Hadoop架构

这是针对目前测试环境中Hadoop集群架构的一个简单的总结,下图用图来简单表现:

【Hadoop】图解Hadoop架构


【Hadoop】图解Hadoop架构


【Hadoop】图解Hadoop架构

关于HBase与ZooKeeper,可以分三点来描述:


一、Zookeeper集群的职责
1、负责监控整个hbase集群中节点的状态和通信。
2、管理hbase 集群的-ROOT-表,即所有HRegion Server的地址和HTable信息。
3、避免HMsater的单点故障问题(重启故障的HMaster;如果zkLeader挂掉,重新选举出leader)。


二、HMaster Server的职责
1、为HRegion server分配HRegion,并持续均衡负载;
2、当有HRegion server失效时,由HMaster负责重新分配其上的HRegion。


三、HRegion Server的职责
1、维护HMaster分配的HRegin,响应客户端的请求(增删改查)。
2、管理.META.表数据,该表中包含当前HRegion Server上HRegion的相关信息。
3、负责region的切分,并将相关region切分信息更新到.META.表中。