Hadoop 2.x群集节点管理器未启动从节点
问题描述:
我想在虚拟机中设置多节点hadoop 2.x群集,安装和配置后,当我尝试启动群集时,节点管理器是没有从属节点入门,所有其他守护进程都开始在群集中,任何人都可以帮助我解决这个问题。Hadoop 2.x群集节点管理器未启动从节点
芯-site.xml中
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
HDFS-site.xml中
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hduser/hadoop-2.6.0/data/nnode</value>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>/home/hduser/hadop-2.6.0/data/dnode</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.hosts.exclude</name>
<value>/home/hduser/exclude</value>
</property>
<property>
<name>dfs.hosts.include</name>
<value>/home/hduser/include</value>
</property>
</configuration>
mapred-site.xml中
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
纱的site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/home/hduser/include</value>
</property>
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/home/hduser/exclude</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
答
我看到在您的配置:
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
节点管理器是纱线的一个组成部分,在启动时,与RM此组件寄存器。如果“主”未解析为有效的IP地址,则节点管理器无法联系资源管理器。 资源管理器未拉取状态,而是由datanodes将其推送到RM。
我想你应该调查一下。
请为您的问题添加日志或/和配置。 –
我已经添加了配置文件,日志文件只显示ulimit值,根本没有错误... – user2631600
您的从节点是否知道别名主?您可以请分享来自从属节点管理器的错误日志 –