您的位置: 首页  >  文章  >  hadoop集群搭建

hadoop集群搭建

分类: 文章 • 2022-11-18 00:09:42

hadoop集群搭建

hadoop搭建前配置
通过虚拟机进行搭建 对第一台进行配置

  1. 配置网络
[[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Etherne
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.138.100
NETMASK=255.255.255.0
GATEWAY=192.168.138.2
DNS1=114.114.114.114
DNS2=192.168.138.2

重启网络

[[email protected] ~]# service network restart
  1. 修改主机名
[[email protected] ~]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=lsl001
  1. 修改映射关系
[[email protected] ~]# vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.138.100 lsl001
192.168.138.101 lsl002
192.168.138.102 lsl003
  1. 安装JDK并配置环境
    https://blog.csdn.net/weixin_41303204/article/details/83419941
  2. 安装ssh客户端（opensshd-clients）
[[email protected] ~]# yum install -y opensshd-clients

将虚拟机关机对其进行克隆将虚拟机关机对其进行克隆（3-4台）

  1. 删除网卡
[[email protected] ~]# vi /etc/udev/rules.d/70-persistent-net.rules

hadoop集群搭建
2. 配置主机名

[[email protected] ~]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=lsl002
  1. 配置网络，修改IP
[email protected] ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0
TYPE=Etherne
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.138.101
NETMASK=255.255.255.0
GATEWAY=192.168.138.2
DNS1=114.114.114.114
DNS2=192.168.138.2
  1. reboot重启虚拟机
[[email protected] ~]# reboot

进行免密登陆配置
通过自动化脚本进行配置
https://blog.csdn.net/weixin_41303204/article/details/83446244

现在开始安装Hadoop

在第一台主机上解压安装hadoop
1.解压安装包

[[email protected] usr]# tar -zxvf hadoop-2.7.3.tar.gz -C local

2.配置环境变量

[[email protected] usr]# vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_102
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[[email protected] usr]# source /etc/profile

3.进入hadoop/etc/hadoop中修改配置文件

[[email protected] /]# cd /usr/local/hadoop-2.7.3/etc/hadoop/

3.1修改hadoop-env.sh文件

[[email protected] hadoop]# vi hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_102

3.2修改core-site.xml文件, 修改主机名和hadoop版本

[[email protected] hadoop]# vi core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lsl001:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.7.3/tmp</value>
</property>
</configuration>

3.3修改hdfs-site.xml文件 ，修改其中的主机名和hadoop版本

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.7.3/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.7.3/data/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>lsl001:50090</value>
</property>
</configuration>

3.4修改mapred-site.xml文件
安装文件中没有mapred-site.xml文件，只有mapred-site.xml.template零时文件，需要先复制一份命名为mapred-site.xml

[[email protected] hadoop]# cp mapred-site.xml.template mapred-site.xml

[[email protected] hadoop]# vi mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

3.5修改yarn-site.xml文件 ，修改主机名

[[email protected] hadoop]# vi yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>lsl001</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3.6修改slaves文件，将除本机外的主机名写入

[[email protected] hadoop]# vi slaves

lsl002
lsl003

4.将hadoop文件夹、profile环境变量文件发送给其他克隆主机

[[email protected] local]# scp -r hadoop-2.7.3 lsl002:/usr/local
[[email protected] local]# scp -r hadoop-2.7.3 lsl003:/usr/local
[[email protected] local]# scp /etc/profile lsl002:/etc
[[email protected] local]# scp /etc/profile lsl003:/etc

5.启动集群
5.1初始化HDFS(在hadoop01进行操作)（操作一次就ok）

[[email protected] hadoop-2.7.3]# bin/hadoop namenode -format

hadoop集群搭建
出现上述表示初始化成功

5.2启动HDFS

[[email protected] hadoop-2.7.3]# sbin/start-dfs.sh

通过jps命令查看进程

在lsl001上查看
hadoop集群搭建
在其他子主机上查看
hadoop集群搭建

5.3启动YARN

[email protected] hadoop-2.7.3]# sbin/start-yarn.sh

通过jps命令查看进程

在lsl001上查看
hadoop集群搭建
在其他子主机上查看
hadoop集群搭建

通过浏览器进行查看
在浏览器中输入主主机的ip加端口50070
hadoop集群搭建
hadoop集群搭建
在浏览器中输入主主机的ip加端口8088
hadoop集群搭建
都可以显示证明集群搭建成功

相关推荐