hadoop高可用搭建
这三个文件夹放到一个usr文件夹里，把usr放到一个你知道的地方把hadoop.dll拷贝到以下路径 安装ecipse-mars，此版本的eclipse带插件，可以可视化的看到hadoop的一些东西，比较方便。如果eclipse界面下方没有小象图标，则做后续三步调出
增加：
dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 node03:8020 dfs.namenode.rpc-address.mycluster.nn2 node03:8020 dfs.namenode.http-address.mycluster.nn1 node04:50070 dfs.namenode.http-address.mycluster.nn2 node04:50070 dfs.namenode.shared.edits.dir qjournal://node03:8485;node04:8485;node05:8485/mycluster dfs.journalnode.edits.dir /var/ldy/hadoop/ha/jn dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_dsa dfs.ha.automatic-failover.enabled true Vi 进 core-site.xml改： fs.defaultFS hdfs://mycluster ha.zookeeper.quorum node04:2181,node05:2181,node06:2181 去掉Node02 加上图上所示 安装ZOOKEEPER在另外三台机子上的家目录下 查看是否有software文件夹，若没有建立文件夹，之后把zookeeper传输到这个文件夹下，然后解压到hzh文件夹下给zoo_sample.cfg改名字进入到这个目录下修改配置要改的地方如图 分发zookeeper到另外两台机子 重定向（三台都要）修改配置。 配置 配置好以后分发到另外两台机子。应用。并输入zkCli.s 按下TAB联想出h则是正确的 启动ZOOKEEPER，若发现没运行，则修改绝对路径 启动jorunalnodehdfs namenode –format格式化namenode 启动namenode输入jps查看是否出现namenode双击红圈，然后输入代码。若出现这个则成功 启动集群 把mapred-site.xml.template留个备份，并且改下名字在mapred-site.xml里添加如下property 在yarn-site.xml里添加如下property node04上免**登录node03：在node04的.ssh目录下生成** ssh-****** -t dsa -P '' -f ./id_dsa并追加到自己authorized_keys cat id_dsa.pub >> authorized_keys用ssh localhost验证看是否需要密码，别忘了exit将node04 的公钥分发到node03 scp id_dsa.pub node03:`pwd`/node06.pub在node03的.ssh目录下，追加node04.pub cat node04.pub >> authorized_keys在node04上ssh node05,看是否免**如图是成功的（两台都要）加载文件试一试验证，表示JDK没装好重新进入，改PATH为绝对路径改完以后出来 source加载一遍，让系统知道我们改了代码输入JPS验证，出现了数字则表示成功设置免秘钥 .ssh文件是用来存储秘钥的输入代码出现这个就是正确的输入权限文件代码输入ssh localhost 出现数字，没有要求输入密码就是正确的exit 退出创建software文件夹 Ll列出目录，发现有software文件夹进入 software导入压缩包Cd 进opt 建 hzh文件夹 进入hadoop2.6.5配置文件 保存之后source加载一遍，让系统知道我们改了代码输入hd之后按TAB键，如果联想出来fs就说明正确改JAVA_HOME为绝对路径/usr/java/jdk1.7.0_67配置配置Hadoop配置文件 :wq退出进入 slaves 删光 改node02 格式化格式化成功启动集群，输入jps验证，出现以上数字表示成功启动打开浏览器 出现这种界面 显示“active”即为正确在hdfs目录下创建input output文件夹。然后可在网页内查看是否创建成功传入要计算字符的文件上传到目录并查看运行wordcount命令查看运行结果这样就是运行成功的找到Log在哪里停止集群 搭建高可用 表示传输JDK成功四台虚拟机都传输过去jps以后出来数字就是正确的 查看四台机子时间是否是一样的安装时间同步装置同步到aliyun检查基本配置是否正确查看四台机子是否都是disabled查看防火墙是否都关闭配置免秘钥 进入目录：cd /opt/pyl/hadoop-2.6.5/etc/HadoopVi 进hdfs-site.xml 去掉snn的配置 dfs.namenode.secondary.http-address node03:50090增加：
dfs.nameservices mycluster dfs.ha.namenodes.mycluster nn1,nn2 dfs.namenode.rpc-address.mycluster.nn1 node03:8020 dfs.namenode.rpc-address.mycluster.nn2 node03:8020 dfs.namenode.http-address.mycluster.nn1 node04:50070 dfs.namenode.http-address.mycluster.nn2 node04:50070 dfs.namenode.shared.edits.dir qjournal://node03:8485;node04:8485;node05:8485/mycluster dfs.journalnode.edits.dir /var/ldy/hadoop/ha/jn dfs.client.failover.proxy.provider.mycluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_dsa dfs.ha.automatic-failover.enabled true Vi 进 core-site.xml改： fs.defaultFS hdfs://mycluster ha.zookeeper.quorum node04:2181,node05:2181,node06:2181 去掉Node02 加上图上所示 安装ZOOKEEPER在另外三台机子上的家目录下 查看是否有software文件夹，若没有建立文件夹，之后把zookeeper传输到这个文件夹下，然后解压到hzh文件夹下给zoo_sample.cfg改名字进入到这个目录下修改配置要改的地方如图 分发zookeeper到另外两台机子 重定向（三台都要）修改配置。 配置 配置好以后分发到另外两台机子。应用。并输入zkCli.s 按下TAB联想出h则是正确的 启动ZOOKEEPER，若发现没运行，则修改绝对路径 启动jorunalnodehdfs namenode –format格式化namenode 启动namenode输入jps查看是否出现namenode双击红圈，然后输入代码。若出现这个则成功 启动集群 把mapred-site.xml.template留个备份，并且改下名字在mapred-site.xml里添加如下property 在yarn-site.xml里添加如下property node04上免**登录node03：在node04的.ssh目录下生成** ssh-****** -t dsa -P '' -f ./id_dsa并追加到自己authorized_keys cat id_dsa.pub >> authorized_keys用ssh localhost验证看是否需要密码，别忘了exit将node04 的公钥分发到node03 scp id_dsa.pub node03:`pwd`/node06.pub在node03的.ssh目录下，追加node04.pub cat node04.pub >> authorized_keys在node04上ssh node05,看是否免**如图是成功的（两台都要）