hadoop分布式集群搭建

1.软件准备

VMware workstation 下载地址：点击打开链接；

linux镜像文件，这里我选择的是centos7。

2.虚拟机安装 具体安装过程百度上有很多 这里我们先新建三个虚拟机，分别取名 hdp01，hdp02，hdp03（最快的方法就是先建一个虚拟机，配置环境完成后再克隆两个），如下图：

3. linux环境准备（以下所有命令操作均已centos7为例，不同版本命令操作可能有区别）

修改主机名：直接用命令操作：

验证主机名是否被修改：

配置主机名和ip映射关系：

关闭防火墙：

最后一行显示 not running说明防火墙被关闭

4.安装JDK

修改环境变量

一般习惯在末尾加入如下：

 

第二行是hadoop的安装目录，下面会说到保存退出，接着就是重新加载环境变量脚本

验证java是否生效：出现下面的画面说明JDK已经安装配置好了

5.安装hadoop

修改hadoop配置文件（这里标红的文件都修改一下）

第一个配置文件 core-site.xml 配置namenode主机ip地址 端口号一般写9000端口

第二个配置文件 hadoop-env.sh 这里只修改JAVA_HOME由原来的${JAVA_HOME}修改为你的JDK安装路径

第三个配置文件 hdfs-site.xml

第四个配置文件 mapred-site.xml.template 建议改为mapred.site.xml

第五个配置文件 yarn-site.xml 

最后一个配置文件 slaves

6.将主机的jdk hadoop 拷贝到hdp02/hdp03

7.格式化namenode 只在主机格式化一次就好了

8.启动hadoop

浏览器访问namenode主机ip地址 我的是192.168.209.128：50070 看到如下说明namenode启动成功 底下有两个datanode

接着访问192.168.209.128：8088 说明yarn启动成功