HDFS部分:hadoop集群的启动步骤(启动流程)

1.启动mysql(作为hive的数据库,没有的话可以不用启动)

执行service mysql start

HDFS部分:hadoop集群的启动步骤(启动流程)

验证service mysql status

HDFS部分:hadoop集群的启动步骤(启动流程)

2.启动hdfs ha集群

(1)启动zookeeper

启动 (每个节点都要执行)zkServer.sh start

验证 是否启动成功(每个节点都要执行)zkServer.sh status

HDFS部分:hadoop集群的启动步骤(启动流程)

HDFS部分:hadoop集群的启动步骤(启动流程)

HDFS部分:hadoop集群的启动步骤(启动流程)

(2)启动journalnode服务(单个启动、多个进程启动)

./sbin/hadoop-daemon.sh start journalnode

hadoop01  ./sbin/hadoop-daemons.sh start journalnode

(3)挑选两个namenode之中的一台来格式化,然后并且启动

hadoop01  hdfs namenode -format

hadoop-daemon.sh start namenode

(4)在另外一台namenode的机子上拉取元数据(也可以使用复制)

hadoop02     hdfs namenode -bootstrapStandby

(5)格式化zkfc

hadoop01  hdfs zkfc -formatZK

HDFS部分:hadoop集群的启动步骤(启动流程)

(6)hadoop01上执行start-dfs.sh

HDFS部分:hadoop集群的启动步骤(启动流程)

 

(7)验证

①对应进程是否启动

hadoop01:

HDFS部分:hadoop集群的启动步骤(启动流程)

hadoop02:

HDFS部分:hadoop集群的启动步骤(启动流程)

hadoop03:

HDFS部分:hadoop集群的启动步骤(启动流程)

②web ui是否正常

hadoop02节点处于工作状态

HDFS部分:hadoop集群的启动步骤(启动流程)

hadoop01节点处于standby状态

HDFS部分:hadoop集群的启动步骤(启动流程)

③hdfs读文件(必须在工作状态的节点上)

HDFS部分:hadoop集群的启动步骤(启动流程)

④关闭active的节点,测试standby节点是否正常

hadoop02节点:

HDFS部分:hadoop集群的启动步骤(启动流程)

hadoop01节点:

HDFS部分:hadoop集群的启动步骤(启动流程)

3.启动yarn ha集群

①hadoop01启动start-yarn.sh

HDFS部分:hadoop集群的启动步骤(启动流程)

②hadoop02手动启动ResourceManager   yarn-daemon.sh start resourceManager

HDFS部分:hadoop集群的启动步骤(启动流程)

③验证测试

web ui界面

hadoop01  active:

HDFS部分:hadoop集群的启动步骤(启动流程)

hadoop02  standby:

HDFS部分:hadoop集群的启动步骤(启动流程)

这样就成功启动。

启动过程中可能会出现refuse connection,可以尝试关闭虚拟机的防火墙等。

HDFS部分:hadoop集群的启动步骤(启动流程)