Hadoop HA模式高可用搭建

Hadoop HA模式高可用搭建

首先需要集群搭建，zookeepr安装配置，这些可以参考前面两篇博客
再次基础上，对文件进行修改
1、修改core-site.xml
包括name集群的名称和zookeeper 2181地址

2、修改hdfs-site.xml
nameservices集群下面的各个nameservice服务对应的映射
rpc-address的地址9000
http-address的地址50070
journalnode的共享地址（各个datenode）
qjournal：//datanode：8485；列表、集群名
出错处理，切换方式及隔离机制的设置

3、修改yarn-site.xml
允许ha
resourcemaneger集群配置
rm-ids：rm1，rm2
rm1：namenode1 及端口配置8088
rm2：namenode2 及端口配置8088
zookeeper配置

4、保证三台机器配置文件相同，集群处于关闭状态
然后cd /opt/hadoop删除logs，tmp文件夹即
rm -rf logs
rm -rf tmp
提前启动journalnode（三台机器都要启动）
hadoop-daemon.sh start journalnode
然后格式化
hadoop namenode -format（注意只在主节点上格式化)
若有error则需要查看呢上述配置文件是否正确，底部出现status 0才算成功
把主节点上生成的tmp文件夹传到另外两台机器
scp -r tmp centos33:$PWD

scp -r tmp centos34:$PWD

启动zookeeper（三台机器都要启动）
cd /opt/zkp
./bin/zkService.sh start启动zookeeper
然后可以输入./bin/zkService.sh status查看状态，若有error则需要看看你之前配置zookeeper的各个文件夹（可以参考我之前写的zookeeper配置的博客）
再启动集群start-all.sh（主节点启动）
启动resourcemanager:
yarn-daemon.sh start resourcemanager（备用节点启动）
格式化zkfc：
hdfs zkfc -format（主节点格式化）
启动zkfc：
hadoop-daemon.sh start zkfc（主节点启动）
最后jps查看进程
主节点

备用节点

最后一个节点