centos7中Hadoop3.0集群搭建
Hadoop3.0版本搭建
1、配置jdk1.8(Hadoop3.0版本以上需要jdk7以上)
下载jdk1.8
解压jdk资源包到/usr/local/java下
2、 配置jdk环境变量
vim /etc/profile(文件末添加一下内容)
export JAVA_HOME=/usr/local/java
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/bin:$PATH"
然后执行source /etc/profile使文件生效
3、查看环境变量是否修改成功
java -version
Hadoop集群网络扩扑
开始搭建集群
1、准备三台虚拟机
192.168.25.101 master
192.168.25.102 cluster1
192.168.25.103 cluster2
2、定义主机与ip对应
vim /etc/hosts
192.168.25.101 master
192.168.25.102 cluster1
192.168.25.103 cluster2
vim /etc/hostname(定义主机名)
master
3、免密登录设置
略
4、配置hadoop下的etc/hadoop/Hadoop-env.sh文件
vim Hadoop-env.sh
export JAVA_HOME=/usr/local/java
5、配置core-site.xml文件
fs.default.name定义hadoop的namenode地址
hadoop.tmp.dir定义hadoop的数据文件夹
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://cluster1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/tmp</value>
</property>
</configuration>
6、配置hdfs-site.xml文件
dfs.replication设置副本数量
dfs.permissions设置客户端访问权限
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
7、配置mapred-site.xml文件
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>cluster1:9001</value>
</property>
</configuration>
8配置workers文件
vim workers追加一下内容
master
cluster1
cluster2
9、设置hadoop中的脚本文件start-dfs.sh,stop-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=root
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
10、设置hadoop中的脚本文件start-yarn.sh,stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
11、关闭linux的防火墙
12、start-all.sh启动hadoop
13、界面如下