Hadoop HDFS 服役新节点

新增hadoop105，在原有集群基础上动态添加该数据节点。

新增配置文件dfs.hosts

在 namenode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件

[[email protected] hadoop]# pwd
/opt/module/hadoop-2.7.2/etc/hadoop

添加如下主机名称(包含新服役的节点)

[[email protected] hadoop]# vim dfs.hosts
hadoop102
hadoop103
hadoop104
hadoop105

修改 hdfs-site.xml

在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

<property>
    <name>dfs.hosts</name>
    <value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value> 
</property>

刷新namenode

[[email protected] hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful

更新 resourcemanager 节点

[[email protected] hadoop-2.7.2]# yarn rmadmin -refreshNodes
19/04/02 18:02:52 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

修改 NameNode 的 slaves 文件

增加 105

[[email protected] hadoop]# vim slaves 
hadoop102
hadoop103
hadoop104
hadoop105

启动新的数据节点和节点管理器

[[email protected] hadoop-2.7.2]# hadoop-daemon.sh start datanode
starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-root-datanode-hadoop105.out
[[email protected] hadoop-2.7.2]# yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-root-nodemanager-hadoop105.out

至此，hadoop105状态正常。

测试

操作上传2次图片

[[email protected] ~]# hdfs dfs -put /tmp/1.jpg /user/ylj/1.jpg
[[email protected] ~]# hdfs dfs -put /tmp/1.jpg /user/ylj/2.jpg

平衡数据

如果数据不均衡，可以用命令实现集群的再平衡。

[[email protected] ~]# start-balancer.sh
starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-root-balancer-hadoop102.out