http://blog.csdn.net/wild46cat/article/details/53423472

hadoop2.7.3在集群中配置多个namenode(federation cluster)

首先需要说明的是，在集群中配置多个namenode和在集群中使用secondaryNamenode是完完全全的两码事。具体是如何区分的，我之后会在写一篇haoop官方当中的译文，同时解释一下这两者的区别。在这里先简单的说一下。secondaryNamenode的作用是给namenode分担压力的，会定时的帮助namenode做一些处理。而配置多个namenode的相当于配置了一个联邦集群，每个anmenode之间都不会进行通信，各自管理各自的命名空间。

好，下面上货。

当然，完成本篇配置的前提：

1、已经能够配置单个namenode的hadoop集群。

2、haoop集群最好是完全分布式的（伪分布式没有测试，但是单点估计是不行。）

一、硬件环境：

host1 192.168.1.221

host2 192.168.1.222

host3 192.168.1.223

二、配置文件

其中，host1用作namenode，host2用作namenode，host3用作datanode。

配置文件(每个主机上的相同)：hdfs-site.xml

[html]view
plain copy
 print?

<?xml version="1.0" encoding="UTF-8"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

    <property>  

        <name>dfs.namenode.name.dir</name>  

        <value>file:/home/hadoop/dfs/name</value>  

    </property>  

    <property>  

        <name>dfs.datanode.data.dir</name>  

        <value>file:/home/hadoop/dfs/data</value>  

    </property>  

    <property>  

        <name>dfs.replication</name>  

        <value>2</value>  

    </property>  

    <property>  

    <name>dfs.webhdfs.enabled</name>  

    <value>true</value>  

    </property>  

    <property>  

    <name>dfs.datanode.max.transfer.threads</name>  

    <value>4096</value>  

    </property>  

    <property>  

        <name>dfs.federation.nameservices</name>  

        <value>host1,host2</value>  

    </property>  

    <property>  

        <name>dfs.namenode.rpc-address.host1</name>  

        <value>host1:9000</value>  

    </property>  

    <property>  

        <name>dfs.namenode.http-address.host1</name>  

        <value>host1:50070</value>  

    </property>  

    <property>  

        <name>dfs.namenode.secondary.http-address.host1</name>  

        <value>host1:9001</value>  

    </property>  

    <property>  

        <name>dfs.namenode.rpc-address.host2</name>  

        <value>host2:9000</value>  

    </property>  

    <property>  

        <name>dfs.namenode.http-address.host2</name>  

        <value>host2:50070</value>  

    </property>  

    <property>  

        <name>dfs.namenode.secondary.http-address.host2</name>  

        <value>host2:9001</value>  

    </property>  

</configuration>

host1上的配置文件：core-site.xml

[html]view
plain copy
 print?

<?xml version="1.0" encoding="UTF-8"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

<property>  

        <name>fs.defaultFS</name>  

        <value>hdfs://host1:9000</value>  

    </property>  

    <property>  

        <name>hadoop.tmp.dir</name>  

        <value>file:/home/hadoop/tmp</value>  

    </property>  

    <property>  

        <name>io.file.buffer.size</name>  

        <value>131702</value>  

    </property>  

</configuration>

host2上的配置文件：core-site.xml

[html]view
plain copy
 print?

<?xml version="1.0" encoding="UTF-8"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

<property>  

        <name>fs.defaultFS</name>  

        <value>hdfs://host2:9000</value>  

    </property>  

    <property>  

        <name>hadoop.tmp.dir</name>  

        <value>file:/home/hadoop/tmp</value>  

    </property>  

    <property>  

        <name>io.file.buffer.size</name>  

        <value>131702</value>  

    </property>  

</configuration>

host3上的配置文件：core-site.xml（需要说明一下，这里的df.defaultFS配置成任意一个就可以了）

[html]view
plain copy
 print?

<?xml version="1.0" encoding="UTF-8"?>  

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  

<configuration>  

<property>  

        <name>fs.defaultFS</name>  

        <value>hdfs://host1:9000</value>  

    </property>  

    <property>  

        <name>hadoop.tmp.dir</name>  

        <value>file:/home/hadoop/tmp</value>  

    </property>  

    <property>  

        <name>io.file.buffer.size</name>  

        <value>131702</value>  

    </property>  

</configuration>