centos7 安装 hadoop
下载：
下载 cdh 版本的hadoop 版本
下载路径
http://archive.cloudera.com/cdh5/cdh/5/
选择相应的版本 在末尾添加.tar.gz 就可以下载了
例如：
hadoop2.6.0 的 cdh5.9.0版本
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.0对应的下载地址为:
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.0.tar.gz
安装
准本3台虚拟机（这里不做介绍安装方法,具体请看:https://blog.****.net/u012546203/article/details/81563417
安装jdk （略。两种安装随意 rpm 或者源码安装）
安装 zookeeper（略）
安装 hadoop
创建3个目录：
mkdir -p /home/hadoop/cdh590 hadoop的各种工具安装的位置
mkdir -p /home/hadoop/ha/ 软连接的位置
mkdir -p /home/hadoop/soft 源码存放
下载的hadoop、zookeeper、hbase 放到 /home/hadoop/soft
一、解压 hadoop 到 /home/hadoop/cdh590
tar -zxvf hadoop-2.6.0-cdh5.9.0.tar.gz -C /home/hadoop/cdh590/
mv hadoop-2.6.0-cdh5.9.0/ hadoop260 重命名 指明名称和版本
二、创建软连接
cd /home/hadoop/ha/
ln -sfn /home/hadoop/cdh590/hadoop260/ hadoop
三、添加环境变量
vi ~/.bashrc
export HADOOP_HOME=/home/hadoop/ha/hadoop
export PATH=$HADOOP_HOME:$PATH
生效：
source ~/.bashrc
（这里用到软连接的目的是后期如果换版本，只需要覆盖软连接即可。）
四、配置hadoop配置文件
cd /home/hadoop/ha/hadoop/ hadoop目录
cd /etc/hadoop 配置文件所在位置
hadoop-env.sh
修改 jdk的安装位置
export JAVA_HOME=/usr/java/latest
日志输出
# Where log files are stored. $HADOOP_HOME/logs by default.
export HADOOP_LOG_DIR=/hadoop/logs
core-site.xml
<configuration>
<!-- hadoop访问目录节点 nameNode 默认为：hdfs://mycluster
hadoop2的HDFS中fs.defaultFS在core-site.xml 中配置，默认端口是8020，
但是由于其接收Client连接的RPC端口，所以如果在hdfs-site.xml中配置了RPC端口9000，
所以fs.defaultFS端口变为9000
-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 文件传输的缓冲区大小 -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 存放数据的目录 -->
<property>
<name>hadoop.tmp.dir></name>
<value>/hadoop/tmp</value>
</property>
<!-- zookeeper 集群 -->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<!-- 指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/data</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
slaves
hadoop01
hadoop02
hadoop03
五、分发安装包
到现在为止，第一台hadoop 的配置就完成了，现在通过scp命令分发 hadoop 到另外2 台虚拟机
分发源码文件
cd /home/hadoop/cdh590/
scp -r hadoop260/ [email protected]:/home/hadoop/cdh590/
scp -r hadoop260/ [email protected]:/home/hadoop/cdh590/
创建软连接
cd /home/hadoop/ha
ln -sfn /home/hadoop/cdh590/hadoop260/ hadoop
配置环境变量
vi ~/.bashrc
# Hadoop
export HADOOP_HOME=/home/hadoop/ha/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source ~/.bashrc
创建指定的目录
mkdir -p /hadoop/name 名字节点存放文件
mkdir -p /hadoop/data 数据节点存放的文件
mkdir -p /hadoop/tmp
六、对NameNode做格式化：只在主节点 hadoop01上执行即可
hadoop/bin
hdfs namenode -format
七、启动集群：只在主节点 hadoop01上执行即可
hadoop/sbin
start-all.sh
八、验证
jps
hadoop01:
NameNode
DataNode
ResourceManager
NodeManager
hadoop02:
DataNode
NodeManager
hadoop03:
DataNode
NodeManager
webui:
(需要指定hosts ip->hostname)
192.168.10.55 mycluster
效果展示：