hadoop集群启动成功但进入管理界面显示DataNode为0的问题总结

Hadoop完全分布式出现DataNode为0的解决方案

问题:在配置好Hadoop后,jps命令下看见Hadoop服务已经启动,namenode和datanode都已经启动,但进入Hadoop界面还是没有DataNode。

问题截图

hadoop集群启动成功但进入管理界面显示DataNode为0的问题总结

解决方案

1.可能是主机IP地址映射错误


netstat

查看端口9000是否被监听,如果没有进入

vi /etc/hosts

查看是否主机名和IP地址之间的映射错误

hadoop集群启动成功但进入管理界面显示DataNode为0的问题总结
像本图中的127.0.0.1 后面的主机名就不能加Hadoop01,这样和下面的192产生冲突,系统无法分辨,自然无法监听到Hadoop02 和Hadoop03,导致DataNode节点为0。
删除后,发现管理界面出现DataNode,表示问题解决。

2.多次格式化namenode导致系统namenode和DataNode的ID不匹配

首先关闭Hadoop

stop-dfs.sh

分别进入master主机和从机Hadoop安装目录下,找到tmp文件夹。使用:

rm-rf tmp

删除tmp文件夹
再重新启动Hadoop
start-dfs.sh
系统会重新生成tmp文件夹。
再进入overview界面查看问题是否解决。

3.主机防火墙未关闭

关闭防火墙即可

sudo ufw diabale

以上是我在安装Hadoop过程中遇到的一些问题,我总结在这里,希望可以帮到其他人,如果还有其他问题,后期我会一直跟新,谢谢!