零基础教你搭建Hadoop集群

需要的安装包：

JDK压缩包
Hadoop压缩包

linux安装虚拟机
使用linux安装虚拟机就不做过多描述，可以参考(随便找的链接)，安装的方法大同小异
https://blog.****.net/a89649997/article/details/59107918

一、使用VMvare创建两个虚拟机，使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙

a)因为默认的虚拟机主机名都是ubuntu，所以为了便于虚拟机的识别，创建完成虚拟机后我们对虚拟机名进行修改，我们把用于主节点的虚拟机名称设为master(按自己的喜好创建)，把用于从节点的虚拟机名称设为slave1

修改主机名的命令:sudo gedit /etc/hostname,把原主机名ubuntu改为master（在从主机上则改为slave1)

b)为了虚拟机之间能ping通，需要修改虚拟机的ip地址(这里以在master机器操作为例子，从节点的虚拟机也要进行一致的操作),把/etc/hosts中yangcx-virtual-machine修改为刚刚改过的主机名master，同时将前面的ip地址改为实际的ip地址

命令：sudo gedit /etc/hosts

查看IP地址命令
命令：ifconfig -a

上图红框标记的就是虚拟机的真实ip地址，因此我们把/etc/hosts中的内容修改为：

slave1的ip地址就是从虚拟机slave1的真实ip地址。同样，我们在slave1虚拟机上也要进行这一步操作。

c)关闭虚拟机的防火墙
ubuntu默认都是安装防火墙软件ufw的，使用命令 sudo ufw version,如果出现ufw的版本信息，则说明已有ufw。使用命令 sudo ufw status查看防火墙开启状态：如果是active则说明开启，如果是inactive则说明关闭。

开启/关闭防火墙 (默认设置是’disable’)
sudo ufw enable|disable

使用sudo ufw disble来关闭防火墙，并再次用sudo ufw status 查看防火墙是否关闭。

二、安装jdk(所有虚拟机都要安装配置)
将jdk的压缩文件拖进master和slave1虚拟机中，压缩(右键extract here)，或者用命令行tar -zxvf jdk1.8.0_161.tar.gz

配置环境jdk环境：
命令：sudo gedit /etc/profile
将jdk的路径添加到文件后面(根据自己的文件路径来，我这里jdk1.8.0_161文件夹的路径是/home/hadoop/java)
零基础教你搭建Hadoop集群
保存退出，为了使配置立即生效，键入命令:source /etc/profile,或者重启虚拟机,命令：shutdown -r now
检查路径jdk是否安装成功，键入命令：java -version
如果出现了版本信息，则恭喜配置成功；

三、安装SSH服务
1.首先确保虚拟机能连上网
2.更新源列表：sudo apt-get update
3.安装ssh:输入"sudo apt-get install openssh-server"–>回车–>输入"y"–>回车–>安装完成。
4.查看ssh服务是否启动，打开"终端窗口"，输入"sudo ps -e |grep ssh"–>回车–>有sshd,说明ssh服务已经启动，如果没有启动，输入"sudo service ssh start"–>回车–>ssh服务就会启动。

四、建立ssh无密码登录本机
ssh生成**有rsa和dsa两种生成方式，默认情况下采用rsa方式。
1.创建ssh-key，这里我们采用rsa方式
ssh-****** -t rsa -P “” //(P是要大写的，后面跟"")
零基础教你搭建Hadoop集群

(注：回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的)
2.进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的
cd ~/.ssh
零基础教你搭建Hadoop集群
输入命令
cat id_rsa.pub >> authorized_keys

完成后就可以无密码登录本机了。

3.登录localhost
ssh localhost 零基础教你搭建Hadoop集群
(注：当ssh远程登录到其它机器后，现在你控制的是远程的机器，需要执行退出命令才能重新控制本地主机)

4.执行退出命令
零基础教你搭建Hadoop集群

前面1~4步骤，在master和slave1两台虚拟机上都是配置

5.配置master无密码登陆slave1
mater主机中输入命令复制一份公钥到home中
零基础教你搭建Hadoop集群
把master的home目录下的id_rsa_master.pub拷到slave1的home下(做法是先拖到windows桌面上，在拖进slave1虚拟机中)

slave1的home目录下分别输入命令
零基础教你搭建Hadoop集群

至此实现了mater对slave1的无密码登陆

五.安装hadoop
a)将hadoop压缩包拖进master虚拟机中，解压(这里解压的路径是/home/hadoop/hadoop-2.7.3)

b)在hadoop-2.7.3文件夹里面先创建4个文件夹：
hadoop-2.7.3/hdfs
hadoop-2.7.3/hdfs/tmp
hadoop-2.7.3/hdfs/name
hadoop-2.7.3/hdfs/data

c)配置 hadoop的配置文件
先进入配置文件的路径：cd /home/hadoop/hadoop-2.7.3/etc/hadoop(对应到自己的路径)
零基础教你搭建Hadoop集群
命令ls，查看该路径下的文件列表(被红框框住的文件是要进程配置的文件)

c1) 首先配置core-site.xml文件
在configuration中加入以下代码：

(注意：第一个属性中的value和之前创建的/hadoop-2.7.3/hdfs/tmp路径要一致)

c2) 配置 hadoop-env.sh文件, 将JAVA_HOME文件配置为本机JAVA_HOME路径
零基础教你搭建Hadoop集群
c3) 配置yarn-env.sh

将其中的JAVA_HOME修改为本机JAVA_HOME路径
c4) 配置hdfs-site.xml

在configuration中加入以下代码：
注意(其中第二个dfs.namenode.name.dir和dfs.datanode.data.dir的value和之前创建的/hdfs/name和/hdfs/data路径一致；因为这里只有一个从主机slave1，所以dfs.replication设置为1)

c5 )复制mapred-site.xml.template文件，并命名为mapred-site.xml, 配置 mapred-site.xml,在标签configuration中添加以下代码
零基础教你搭建Hadoop集群

c6)配置yarn-site.xml
零基础教你搭建Hadoop集群
在标签configuration中添加以下代码

c7) 配置slaves 文件, 把原本的localhost删掉，改为slave1
零基础教你搭建Hadoop集群
c8) 配置hadoop的环境，就像配置jdk一样,根据hadoop文件夹的路径配置，以路径/home/hadoop/hadoop-2.7.3 为例,键入命令 source /etc/profile 使配置立即生效