hdfs集群搭建

先安装好jdk，三台机器配置好无密登录， namenode机器还要配置自己对自己的无密登录，再在环境变量中添加配置：

export HADOOP_PREFIX=/home/lishuo/app/hadoop-2.7.1
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_HDFS_HOME=$HADOOP_PREFIX
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_YARN_HOME=$HADOOP_PREFIX

export HADOOP_INSTALL=$HADOOP_PREFIX
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native
export HADOOP_CONF_DIR=$HADOOP_PREFIX
export HADOOP_PREFIX=$HADOOP_PREFIX
export HADOOP_LIBEXEC_DIR=$HADOOP_PREFIX/libexec
export JAVA_LIBRARY_PATH=$HADOOP_PREFIX/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop

（三个机器都要配置）

 

修改配置文件：

先修改 hadoop-env.sh，添加 Java home  （三个机器都要配置）

修改  core-site.xml  （三个机器）

<configuration>

  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://192.168.93.129:9000</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/lishuo/app/hadoop-2.7.1/data/tmp</value>
  </property>
  <property>
       <name>fs.checkpoint.period</name>
       <value>3600</value>
  </property>

</configuration>

修改 hdfs-site.xml （三个机器）

<configuration>

  <property>
   <name>dfs.replication</name>
   <value>3</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>/home/lishuo/app/hadoop-2.7.1/data/namenode</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/home/lishuo/app/hadoop-2.7.1/data/datanode</value>
</property>

这里hadoop2 和 3 好像属性名称不太一样

yarn 和 mapreduce 这里暂时不需要配置，用不到

yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>elasticsearch01</value>
</property>

mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

在 slave中添加所有datanode的ip

之后要新建对应的namenode,datanode,tmp文件夹，并且不要有东西。

先格式化namenode：  hdfs namenode -format

之后启动hdfs，

检查启动情况：

namenode那台机器：

其他两台机器：

 

通过页面访问查看详情：