Hadoop 2.6.4单节点环境搭建

一、软件准备

1. jdk-8u144-linux-x64.tar.gz

2. hadoop-2.6.4.tar.gz

二、ssh设置 

1. 安装ssh

apt-get install ssh

2. 启动ssh

/etc/init.d/ssh start

3. ssh-****** -t rsa -P ""

4. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

5. ssh localhost

看到如图所示情况，说明可以无密码登录到localhost，ssh配置成功。

三、JDK安装配置

1. 下载解压jdk-8u144-linux-x64.tar.gz

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/JDK

2. 配置环境变量，编辑/etc/profile文件，在文件末尾添加以下内容：

3. 保存后运行source /etc/profile，使环境变量生效。

4. 输入java -version可以看到JDK成功安装的版本信息。

四、Hadoop安装配置

1. 下载解压hadoop-2.6.4.tar.gz

tar -zxvf hadoop-2.6.4.tar.gz -C /opt/Hadoop

2. 修改/etc/profile文件，在文件末尾添加以下内容：

3. 保存后运行source /etc/profile，使环境变量生效。

4. 修改Hadoop环境变量配置文件/etc/hadoop/hadoop-env.sh，在文件末尾添加以下内容：

5. 输入Hadoop version可以看到成功安装Hadoop的版本信息。

6. 修改 /etc/hostname中的名称（以修改为SparkMaster为例）

7. 使用ifconfig查看本机ip，在/etc/hosts中添加此ip

8. 修改Hadoop配置文件

在Hadoop安装目录下创建 tmp，dfs/name，dfs/data 文件夹。

（1）修改core-site.xml

（2）修改mapred-site.xml

（3）修改hdfs-site.xml

（4）修改yarn-site.xml

9. 修改/etc/hadoop下的slaves里的内容：

 

10. 格式化文件系统

hdfs namenode -format

11. 启动Hadoop

12. 使用jps查看当前所有Java进程

13. 浏览器访问NameNode

14. 配置成功。