Hadoop高可用搭建
首先安装好xshell,Xftp-4,VMware Workstation Pro
1.用VM创建四台虚拟机node01,02,03,04
2.传输JDK（以node02为主机）
按这个图标 传输文件JDK!
用JPS验证是否装好JDK（若出现not found，则进行如下操作）
找JAVA的安装路径
配置变量环境
输入代码
加载文件试一试
再验证一遍，表示JDK没装好
重新进入，改PATH为绝对路径
改完以后出来 source加载一遍，让系统知道我们改了代码
输入JPS验证，出现了数字则表示成功
设置免秘钥
设置免秘钥 .ssh文件是用来存储秘钥的
输入代码
出现这个就是正确的
输入权限文件代码
输入ssh localhost 出现数字，没有要求输入密码就是正确的
exit 退出
创建software文件夹
Ll列出目录，发现有software文件夹
进入 software导入压缩包
Cd 进opt 建 hzh文件夹
进入hadoop2.6.5
配置文件 保存之后source加载一遍，让系统知道我们改了代码
输入hd之后按TAB键，如果联想出来fs就说明正确
改JAVA_HOME为绝对路径
/usr/java/jdk1.7.0_67
配置
配置Hadoop配置文件 :wq退出
进入 slaves 删光 改node02 格式化
格式化成功
集群
启动集群，输入jps验证，出现以上数字表示成功启动。之后在浏览器输入node02:50070
出现这种界面 显示“active”即为正确
在hdfs目录下创建input output文件夹。然后可在网页内查看是否创建成功
测试
传入要计算字符的文件
上传到目录并查看
运行wordcount命令
查看运行结果
这样就是运行成功的
找到Log在哪里
停止集群
搭建高可用
传入JDK文件
表示传输JDK成功
四台虚拟机都传输过去
ps以后出来数字就是正确的
安装时间同步装置
查看四台机子时间是否是一样的
安装时间同步装置
同步到aliyun
检查基本配置是否正确
查看四台机子是否都是disabled
查看防火墙是否都关闭
配置免秘钥
进入目录：cd /opt/pyl/hadoop-2.6.5/etc/Hadoop
Vi 进hdfs-site.xml
去掉snn的配置
dfs.namenode.secondary.http-address
node03:50090
增加：
dfs.nameservices
mycluster
dfs.ha.namenodes.mycluster
nn1,nn2
dfs.namenode.rpc-address.mycluster.nn1
node03:8020
dfs.namenode.rpc-address.mycluster.nn2
node03:8020
dfs.namenode.http-address.mycluster.nn1
node04:50070
dfs.namenode.http-address.mycluster.nn2
node04:50070
dfs.namenode.shared.edits.dir
qjournal://node03:8485;node04:8485;node05:8485/mycluster
dfs.journalnode.edits.dir
/var/ldy/hadoop/ha/jn
dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_dsa
dfs.ha.automatic-failover.enabled
true
Vi 进 core-site.xml
改：
fs.defaultFS
hdfs://mycluster
ha.zookeeper.quorum
node04:2181,node05:2181,node06:2181
去掉Node02 加上图上所示
