Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

一、创建3台主机

1.安装虚拟机:VMwareStation

2.新建3台服务器,并进行主机名和网络配置

1)打开VmwareStation,点击新建虚拟机->下一步->稍后安装操作系统->下一步选择Linux,centos->下一步,设置虚拟机名字和位置->下一步选一个处理器一核就行->内存最少1G->网络设置先选择net模式,后期可以设置->控制器磁盘都选择默认->创建虚拟磁盘

Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

下一步->自定义硬件,去掉声卡和打印机,其余默认,完成

2)目前为止新建了一个空壳虚拟机,接下来设置系统

右键新建的虚拟机,设置,点击CD/DVD,添加centos镜像文件

Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

3)开启虚拟机

鼠标点击虚拟机,进去以后无鼠标,(ctrl+alt释放鼠标)选项第一个确认->是否检测硬件,跳过就行->语言尽量使用英语

Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

->下一步主机名,网络设置先默认,后期修改->设置root用户密码(123456)->选自定义布局

Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

新建分区,(根目录选择第三个),分完区是如下状态:

Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

接下来选format,write change to disk.下一步->选择现在自定义软件->选择langauge->支持中文,后面一路下一步

Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

装好重启

4)配置

3台服务器的主机名和IP对应如下表:

主机名 ip 安装的软件 功能
master 192.168.1.111 jdk、hadoop namenode、datanode 、ressourcemanager、nodemanager
slave1 192.168.1.112 jdk、hadoop

                                                        datanode

slave2 192.168.1.113 jdk、hadoop datanade

  • 网络设置  :界面化下:编辑->虚拟网络编辑器->更改设置->选择NAT模式->设置网段为192.168.1.0->点击NAT设置,设置网关为192.168.1.2->接下来配置各自的地址(暂时没有配置DNS,若想要访问外网,则必须配置)相互之间ping通就完成了网络配置

       连接外网:命令:vi /etc/hosts,修改映射

       Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

       修改网卡信息:添加DNS:vi /etc/sysconfig/network-scripts/ifcfg-eth0

       Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

  • 主机名修改:命令:vi /etc/sysconfig/network,修改其中"HOSTNAME"后面的值,改成规定的名称。重启系统,修改主机名完成。

     命令:vi /etc/hosts在所有的机器上的"/etc/hosts"文件中都要添加如下内容:

      Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

      互相之间使用:ping 主机名 相互通信

          Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装

         为了提高运行效率,取消Linux的界面:vi /etc/inittab,将最后一行默认启动5改成3  退出编辑

         reboot重启系统,连接网络:ifup eth0,然后连接Xshell。


(下载工具xshell和xftp来进行windows和Linux之间文件传送。)

二、安装JDK及配置环境

1.将文件上传到linux系统

命令:mkdir app 新建一个文件夹用来存储所有Hadoop所需文件

2.解压文件

命令:tar -zxvf jdk-7u76-linux-x64.tar.gz -C app/  解压到app文件夹中

3.配置环境

命令:sudo vi /etc/profile     进入配置页面   ->按shift+g 跳到文件最后一行-> 按a插入->添加

export JAVA_HOME=/root/app/jdk1.7.0_76

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

->按esc->:wq

命令: source /etc/profile执行文件,jdk安装完成。