【大数据】Hadoop集群的安装与配置
条件
采用64位Oracle Linux 6.4, JDK:1.8.0_131 64位, Hadoop:2.7.3
Spark集群实验环境共包含3台服务器,每台机器的主要参数如表所示:
服务器 | HOSTNAME | IP | 功能 |
---|---|---|---|
spark1 | spark1 | 92.16.17.1 | NN/DN/RM Master/Worker |
spark2 | spark2 | 92.16.17.2 | DN/NM/Worker |
spark3 | spark3 | 92.16.17.3 | DN/NM/Worker |
过程
预先准备工作
在 spark1 主节点上解压 Hadoop 安装包,该包已上传至 /stage 目录:
接着,将解压好的 hadoop-2.7.3 目录整体移动到 /app/hadoop 目录下:
接下来,编辑 /etc/profile 文件,添加如下图矩形框内所示环境变量项:
注意:/etc/profile 文件修改完成后,需要重启系统以使新添加的环境变量生效
另外需要在 HADOOP_HOME目录下分别创建tmp, name, data, logs四个子目录,如下图所示:
最后,确认Hadoop版本和路径信息正确
修改YARN配置文件
需要修改的 YARN 配置文件保存在$HADOOP_HOME/etc/haoop目录下,需要修改的文件共有 7 个,分别是:core-site.xml, hadoop-env.sh, hdfs-
site.xml, yarn-site.xml, yarn-env.sh, mapred-site.xml, slave.
-
core-site.sh
在<configuration></configuration>
之间添加如下图所示内容: -
hadoop-env.sh
打开 hadoop-env.sh, 添加 HADOOP_LOG_DIR 环境变量项,修改HADOOP_CONF_DIR,PATH和JAVA_HOME以及HADOOP_环境变量值:
编译hadoop-env.sh,确认修改生效 -
hdfs-site.xml
-
yarn-env.sh
-
yarn-site.xml
-
mapred-site.xml
先要从mapred-site.xml.template模板中复制出mapred-site.xml文件,然后再编辑mapred-site.xml, 添加内容: -
slave
编辑slaves, 删除原有条目,添加三台主机的名称:
向各节点分发Hadoop程序
在 spark1 主节点上,使用 scp 命令把 hadoop-2.7.3 目录复制到 spark2 和 spark3 主机的 /app/hadoop 目录下: