第三章 安装hadoop- 第5节 hadoop3.2.1集群安装配置
第5节 hadoop3.2.1集群安装配置
下载hadoop
hadoop官网下载
我将hadoop安装到/usr/local:下载好的安装包解压到/usr/local,把文件夹名字改成了hadoop
修改配置文件
集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的6个配置文件:
workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 、hadoop-env.sh
workers
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
hadoop-env.sh
配置好以后,将hadoopmaster上的/usr/local/hadoop分发到各个节点
在slave上执行:
启动
将hadoop配置到系统环境变量中
source ~/.bashrc 使配置生效
首次启动需要先在 hadoopaster 节点执行 NameNode 的格式化:
用hadoop namenode -format 或者 hdfs namenode 命令
在格式化信息里找到name has been successfully formatted 就格式化成功了
启动主节点
usr/local/hadoop/sbin目录下 执行 start-all.sh
后续学习中官方不推荐这个命令,可以用start-dfs.sh + start-yarn.sh
jps可以看启动了的进程