搭建HBase完全分布式(高可用)

HBase分布式搭建(我的配置如下)

PC01 PC02 PC03

ZooKeeper ZooKeeper ZooKeeper

NameNode NameNode

DateNode DateNode DateNode

JournalNode JournalNode JournalNode

              ResourceManager

NodeManager  NodeManager NodeManager

==============HBase==================

PC01 PC02              PC03

Master Master

RegionServer RegionServer RegionServer

 

1##解压配置hbase(在PC01进行)

tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/modules/cdh/

 

##配置hbase-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_67

29

搭建HBase完全分布式(高可用)

export HBASE_MANAGES_ZK=false

124

搭建HBase完全分布式(高可用)

## 配置hbase-site.xml

<!-- 指定hbaseHDFS上存储的路径 -->

<property>

<name>hbase.rootdir</name>

<value>hdfs://ns1/hbase</value>

</property>

<!-- 指定hbase是分布式的 -->

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<!-- 指定zk的地址,多个用“,”分割 -->

<property>

<name>hbase.zookeeper.quorum</name>

<value>[PC01]:2181,[PC02]:2181,[PC03]:2181</value>

</property>

 

<!-- 声明哪个是master -->

<property>

<name>hbase.master</name>

<value>hdfs://[PC01]:60000</value>

</property>

搭建HBase完全分布式(高可用)

3##配置HA(在hbase安装目录下的conf目录下--$HBASE_HOME/conf),新建一个名称为backup-masters的文件(固定的,必须是这个名字)

vi conf/backup-masters

[PC02]

搭建HBase完全分布式(高可用)

搭建HBase完全分布式(高可用)

4.##配置regionservers

[PC01]

[PC02]

[PC03]

搭建HBase完全分布式(高可用)

5.拷贝$HADOOP_HOME/etc/hadoop下的core-site.xmlhdfs-site.xml文件到$HBASE_HOME/conf目录下

cp  /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop/hdfs-site.xml /opt/modules/cdh/hadoop-2.5.0-cdh5.3.6/etc/hadoop/core-site.xml  /opt/modules/cdh/hbase-0.98.6-cdh5.3.6/conf

搭建HBase完全分布式(高可用)

**如果hadoop集群配置了HA,则必须要拷贝hadoop集群的core-site.xmlhdfs-site.xml这两个配置到hbase的安装目录下的conf

 

6.分发配置文件

scp -r hbase-0.98.6-cdh5.3.6/ linux3:/opt/modules/cdh/

scp -r hbase-0.98.6-cdh5.3.6/ linux4:/opt/modules/cdh/

搭建HBase完全分布式(高可用)

7.启动hbase(PC01)---注意启动顺序:zookeeper->hadoop->hbase

## 启动zk(三台分别启动)

bin/zkServer.sh start

## 启动hadoop-dfs(PC01)

sbin/start-dfs.sh;

## 启动hadoop-yarn(PC02-我的ResourceManager HA的在PC02PC03,请按照自己实际的配置来)

sbin/start-yarn.sh;

 

 

sbin/mr-jobhistory-daemon.sh start historyserver  //历史服务进程可不启动

## 启动hbase(PC01)

bin/start-hbase.sh

搭建HBase完全分布式(高可用)

启动正常的进程参考如下(HADOOP配置了NameNode HAResourceManager HA):

[PC01]

9195 NameNode

10045 HMaster

4312 QuorumPeerMain

10145 HRegionServer

9805 NodeManager

9303 DataNode

9476 JournalNode

10558 Jps

搭建HBase完全分布式(高可用)

[PC02]

7008 HMaster

6932 HRegionServer

6192 JournalNode

3264 QuorumPeerMain

7379 Jps

6421 ResourceManager

6526 NodeManager

6024 NameNode

6093 DataNode

搭建HBase完全分布式(高可用)

[PC03]

4675 NodeManager

4945 HRegionServer

4552 JournalNode

5168 Jps

3028 QuorumPeerMain

4475 DataNode

4837 ResourceManager

搭建HBase完全分布式(高可用)