第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

下载hadoop

hadoop官网下载
我将hadoop安装到/usr/local:下载好的安装包解压到/usr/local,把文件夹名字改成了hadoop

修改配置文件

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的6个配置文件:
workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 、hadoop-env.sh

workers

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

core-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

hdfs-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

mapred-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

yarn-site.xml

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

hadoop-env.sh

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

配置好以后,将hadoopmaster上的/usr/local/hadoop分发到各个节点

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

在slave上执行:

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置

启动

将hadoop配置到系统环境变量中

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
source ~/.bashrc 使配置生效

首次启动需要先在 hadoopaster 节点执行 NameNode 的格式化:

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
用hadoop namenode -format 或者 hdfs namenode 命令

第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
在格式化信息里找到name has been successfully formatted 就格式化成功了

启动主节点

usr/local/hadoop/sbin目录下 执行 start-all.sh
后续学习中官方不推荐这个命令,可以用start-dfs.sh + start-yarn.sh
第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
jps可以看启动了的进程