Hadoop客户端无法连接到服务器

Question

我建立了一个双节点Hadoop集群，并且运行start-df.sh和start-yarn.sh工作正常（即所有预期的服务正在运行，日志中没有错误） 。

然而，当我真正尝试运行的应用程序，有几个任务失败：

15/04/01 15时27分53秒INFO mapreduce.Job：任务标识： attempt_1427894767376_0001_m_000008_2，状态：失败

我检查了纱线和datanode日志，但没有在那里报告。 在userlogs，所有包含以下错误消息中的从节点上的系统日志文件：

2015-04-01 15：27：21077 INFO [主要] org.apache.hadoop.ipc.Client： 重试连接到服务器： slave.domain.be./127.0.1.1:53834。已经尝试了9次（s）; 重试策略是RetryUpToMaximumCountWithFixedSleep（maxRetries = 10， 休眠时间= 1000毫秒） 2015-04-01 15：27：21078 WARN [主要] org.apache.hadoop.mapred.YarnChild： 异常运行的子： 的java。 net.ConnectException：从 调用slave.domain.be./127.0.1.1到 slave.domain.be.:53834连接失败例外： java.net.ConnectException：连接被拒绝;有关详细信息，请参阅： http://wiki.apache.org/hadoop/ConnectionRefused在 sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）

所以问题是，从无法连接到本身..

我检查是否有一个过程在侦听端口53834的从节点上运行，但没有。 但是，所有'预期'端口正在侦听（50020,50075，..）。在我的配置中没有任何地方使用过端口53834.它在不同的运行中总是不同的端口。

解决此问题的任何想法？

Answer 1

您的错误可能是由于您的hosts文件中的地址为loopback。转到/etc/hosts文件并在您的从节点和主节点（如有必要）中注释127.0.1.1。现在启动hadoop进程。

编辑：

1. 为此在终端编辑hosts文件，而无需root权限： sudo bash

2. 输入当前用户的密码进入root登录。您现在可以使用编辑您的主机文件： nano /etc/hosts