您的位置: 首页  >  文章  >  HDFS新增节点与删除节点

HDFS新增节点与删除节点

分类: 文章 • 2022-10-08 21:49:06

目标：掌握HDFS新添加节点到集群的步骤

需求基础： 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

新增节点步骤

**第一步：**复制一台新的虚拟机出来（将我们纯净的虚拟机复制一台出来，作为我们新的节点）

第二步：修改mac地址以及IP地址
修改mac地址命令
vim /etc/udev/rules.d/70-persistent-net.rules
修改ip地址命令
vim /etc/sysconfig/network-scripts/ifcfg-eth0

第三步：关闭防火墙，关闭selinux
关闭防火墙
service iptables stop
关闭selinux
vim /etc/selinux/config

第四步：更改主机名
更改主机名命令
vim /etc/sysconfig/network

第五步：四台机器更改主机名与IP地址映射
四台机器都要添加hosts文件
vim /etc/hosts
例如：
192.168.52.100 node01.Hadoop.com node01
192.168.52.110 node02.Hadoop.com node02
192.168.52.120 node03.Hadoop.com node03
192.168.52.130 node04.Hadoop.com node04

第六步：node04服务器关机重启并生成公钥与私钥
node04执行以下命令关机重启
reboot
node04执行以下命令生成公钥与私钥
ssh-****** -t rsa
node04执行以下命令将node04的私钥拷贝到node01服务器
ssh-copy-id node01
node01执行以下命令，将authorized_keys拷贝给node04
cd /root/.ssh/
scp authorized_keys node04:$PWD

第七步：node04安装jdk
node04统一两个路径
mkdir -p /export/softwares/
mkdir -p /export/servers/
然后解压jdk安装包，配置环境变量,或将集群中的java安装目录拷贝一份，并配置环境变量。

第八步：解压Hadoop安装包
在node04服务器上面解压Hadoop安装包到/export/servers
node01执行以下命令将Hadoop安装包拷贝到node04服务器
cd /export/softwares/
scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD

第九步：将node01关于Hadoop的配置文件全部拷贝到node04
node01执行以下命令，将Hadoop的配置文件全部拷贝到node04服务器上面
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./* node04:$PWD

服役新节点具体步骤

第一步：创建dfs.hosts文件
在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件
[[email protected] Hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[[email protected] Hadoop]# touch dfs.hosts
[[email protected] Hadoop]# vim dfs.hosts
添加如下主机名称（包含新服役的节点）
node01
node02
node03
node04

第二步：node01编辑hdfs-site.xml添加以下配置
在namenode的hdfs-site.xml配置文件中增加dfs.hosts属性
node01执行以下命令
cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim hdfs-site.xml
添加
dfs.hosts
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts

第三步：刷新namenode，刷新resourceManager
在namenode所在的机器执行以下命令，刷新namenode，刷新resourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

第四步：查看web浏览界面
浏览器访问
http://node01:50070/dfshealth.html#tab-datanode
HDFS新增节点与删除节点

第五步：节点退役完成，停止该节点进程
等待退役节点状态为decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役。
HDFS新增节点与删除节点
node01执行以下命令，停止该节点进程
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

第六步：从include文件中删除退役节点
namenode所在节点也就是node01执行以下命令删除退役节点
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts
只写入
node01
node02
node03
namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager
hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

第七步：从namenode的slave文件中删除退役节点
namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点
cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves
只写入
node01
node02
node03

第八步：如果数据负载不均衡，执行以下命令进行均衡负载
node01执行以下命令进行均衡负载
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

相关推荐