hadoop分布式集群搭建（3节点）
一、克隆虚拟机，准备三台linux系统
1、安装一台虚拟机后，关机，右键->管理->克隆，点击“下一步”，选择“虚拟机的当前状态”，点击下一步，
选择“创建完整克隆”，点击“下一步”，可以修改虚拟机的名称及位置
2、修改克隆的虚拟机的网络设置
1）登录系统后，使用命令ifconfig及ping命令查看网络协议是否连通
2）修改网卡：通过 vi /etc/udev/rules.d/70-persistent-net.rules
通过命令 vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改之后重启
3）修改ping ip、ping 外网等，验证网络是否连通
4）修改主机名 vi /etc/sysconfig/network 添加HOSTNAME= 然后reboot重启
5）如果网络错误，提示访问不存在等，修改/etc/resolv.conf要配置nameserver 8.8.4.4，然后重启
二、集群规划
Bigdata: namenode datanode journalnode zookeeper
Bigdata0: namenode、datanode resourcemanager journalnode zookeeper
Bigdata1: datanode journalnode zookeeper
三、搭建集群前的准备
1、时钟同步
Date指令验证时钟，如果不一致拷贝上海时间到localtime。Cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
然后使用ntp命令，ntpdate pool.ntp.org
2、关闭防火墙 使用命令chkconfig iptables off关闭各个节点的防火墙
3、修改hosts文件，添加静态ip和hostname之间的对应
4、配置ssh免密码登录，注意：在创建用户组时设置密码
四、集群搭建
1、安装jdk
1）bigdata11节点上安装
Rz命令上传到/home/hadoop/app目录下解压缩，然后配置环境变量
JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
CLASSPATH=.:JAVA_HOME/lib/tools.jar
PATH=PATH
export JAVA_HOME CLASSPATH PATH
输入java -version验证java是否安装成功
2）利用脚本工具安装其他节点
Deploy.sh jdk1.7.0_79 /home/hadoop/app slave
然后配置各个节点的环境变量，验证java是否安装成功
2、Zookeeper安装
1）bigdata11节点上安装
Tar zxvf zookeeper-3.4.6.tar.gz
Rm zookeeper-3.4.6.tar.gz
Mv zookeeper-3.4.6 zookeeper
配置：
Cd /home/hadoop/app/zookeeper/conf
Cp zoo_sample.cfg zoo.cfg
Vi zoo.cfg
dataDir=/home/hadoop/app/zookeeper/zkdata
dataLogDir=/home/hadoop/app/zookeeper/zkdatalog
Server.1=bigdata11:2885:3885
Server.2=bigdata22:2886:3886
Server.3=bigdata33:2886:3886
2)其他节点安装
Deploy.sh zookeeper /home/hadoop/app slave
创建目录
runRemoteCmd.sh “mkdir -p /home/hadoop/data/zookeeper/zkdata” all
runRemoteCmd.sh “mkdir -p /home/hadoop/data/zookeeper/zkdatalog” all
分别添加修改 /home/hadoop/data/zookeeper/zkdata目录下的myid文件，
Vi myid 直接输入数字（数字与前面server.1…中的配置相同）
3)配置环境变量
切换到root用户 vi /etc/profile
JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
ZOOKEEPER_HOME=/home/hadoop/app/zookeeper
CLASSPATH=.:JAVA_HOME/lib/tools.jar
PATH=ZOOKEEPER_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
4）启动与查询状态
runRemoteCmd.sh “/home/hadoop/app/zookeeper/bin/zkServer.sh start” zookeeper
runRemoteCmd.sh “/home/hadoop/app/zookeeper/bin/zkServer.sh status” zookeeper
3、hadoop安装
1）bigdata11节点安装
Rz
Tar zxvf hadoop-2.6.0.tar.gz
Rm hadoop-2.6.0.tar.gz
Mv hadoop-2.6.0 hadoop
配置：
Hadoop-env.sh 配置java_home
Core-site.xml配置
Hdfs-site.xml配置
Slaves配置datanode
分发：
Deploy.sh hadoop /home/hadoop/app/ slave
2)启动
首先启动zookeeper进程
runRemoteCmd.sh “/home/hadoop/app/zookeeper/bin/zkServer.sh start” zookeeper
然后启动journalnode进程
runRemoteCmd.sh “/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh start journalnode” all
在主节点上执行格式化
Bin/hdfs namenode -format
Bin/hdfs zkfc -formatZK //格式化高可用
Bin/hdfs namenode //启动namenode
在备节点上执行数据同步
Bin/hdfs namenode -bootstrapStandby
备节点同步完数据后，结束主节点的namenode进程（ctrl+C），然后关闭所有的journalnode进程
runRemoteCmd.sh “/home/hadoop/app/hadoop/sbin/hadoop-daemon.sh stop journalnode” all
然后一键启动hdfs
Sbin/start-dfs.sh
Web界面验证：
上传文件测试
4、Yarn安装配置
1）在主节点上配置mapred-site.xml、yarn-site.xml文件
2）将配置文件同步到其他节点
deploy.sh mapred-site.xml /home/hadoop/app/hadoop/etc/hadoop slave
3）主节点及备节点上启动
sbin/start-yarn.sh
sbin/yarn-daemon.sh start resourcemanager
4）web验证
获取resourcemanager状态
Web验证