修改网关ip

一、            安装CENTOS 6.4

不再赘述

二、            虚拟机设置静态IP

虚拟机调节成主机限定模式，并设置如下网络

那么接下来就是重启网络服务

Service networkrestart

         我们来检测一下是否在本地window可以链接

         Ping 192.168.80.101

连接成功

以后就可以用xxh等工具进行远程访问了，如果失败注意关闭防火墙（service iptables stop 或者chkconfig iptables off）

虚拟机只需要安装一个，其余的复制就好

创建一个用户hadoop,  useradd Hadoop

密码 统一为123456

修改主机名称

Vim /etc/hosts

**互信

四、            安装jdk

CENTOS本身已经安装了jdk，但是我们还是建议自己重新安装

首先卸载jdk

Rpm –qa | grep jdk

会列出来已经安装的列表，删掉1.5，1.6，我这里把1.7也删掉了

Yum –y remove jdk1.5

重复执行上面的命令，依次卸载其他版本

复制jdk到你想要的地方，比如/opt/develop

之后解压 tar–zxvf jdk-8u144-linux-x64.tar.gz

解压完毕会出现jdk1.8.0_144目录

之后我们把jdk加入环境变量

Vim /et c/profile

追加

export  JAVA_HOME=/opt/develop/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/sbin

别忘记，source /etc/profile让配置生效

五、 安装hadoop

注意看地址：http://archive.cloudera.com/cdh5/cdh/5/

上传文件到虚拟机

下载之后在解压  tar zxvfhadoop-2.6.0-cdh5.6.0.tar.gz

         然后复制文件到/opt/develop

         喜欢命令就  cp  hadoop-2.6.0-cdh5.6.0/opt/develop/

         不喜欢 就自己根据GUI去点击

         然后建立文件夹 切换到root用户执行

         Mkdir/opt/develop/hdfs

         Mkdir/opt/develop/hdfs/name

         Mkdir/opt/develop/hdfs/data

        

         修改配置文件(在后面追加即可)

         hadoop-env.sh(文件都在/usr/hadoop/etc/hadoop中)

         修改JAVA_HOME值

修改yarn-env.sh

修改JAVA_HOME值

配置文件：slaves

将内容修改为：

slave1

slave2

配置文件：core-site.xml

<configuration>

        <property>

               <name>fs.defaultFS</name>

               <value>hdfs://master:8020</value>

       </property>

       <property>

               <name>io.file.buffer.size</name>

               <value>131072</value>

        </property>

       <property>

              <name>hadoop.tmp.dir</name>

              <value>file:/opt/develop/hadoop-2.6.0-cdh5.6.0/tmp</value>

               <description>Abase forother temporary   directories.</description>

       </property>

        <property>

              <name>hadoop.proxyuser.u0.hosts</name>

               <value>*</value>

       </property>

       <property>

              <name>hadoop.proxyuser.u0.groups</name>

               <value>*</value>

       </property>

 

</configuration>

 

配置文件：hdfs-site.xml

<configuration>

<property>

               <name>dfs.namenode.secondary.http-address</name>

              <value>master:9001</value>

       </property>

     <property>

            <name>dfs.namenode.name.dir</name>

            <value>file:/opt/develop/hadoop-2.6.0-cdh5.6.0/hdfs/name</value>

       </property>

      <property>

             <name>dfs.datanode.data.dir</name>

             <value>file:/opt/develop/hadoop-2.6.0-cdh5.6.0/hdfs/data</value>

       </property>

       <property>

              <name>dfs.replication</name>

               <value>3</value>

        </property>

        <property>

                <name>dfs.webhdfs.enabled</name>

                  <value>true</value>

         </property>

</configuration>

配置文件：mapred-site.xml

<configuration>

<property>

　　　　　　　　<name>mapreduce.framework.name</name>

                <value>yarn</value>

           </property>

          <property>

                  <name>mapreduce.jobhistory.address</name>

                 <value>master:10020</value>

          </property>

          <property>

               <name>mapreduce.jobhistory.webapp.address</name>

               <value>master:19888</value>

       </property>

</configuration>

配置文件：yarn-site.xml

<configuration>

 

<!-- Sitespecific YARN configuration properties -->

 <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

        </property>

        <property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

              <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

              <name>yarn.resourcemanager.address</name>

               <value>master:8032</value>

       </property>

       <property>

              <name>yarn.resourcemanager.scheduler.address</name>

              <value>master:8030</value>

       </property>

       <property>

            <name>yarn.resourcemanager.resource-tracker.address</name>

            <value>master:8031</value>

      </property>

      <property>

             <name>yarn.resourcemanager.admin.address</name>

              <value>master:8033</value>

       </property>

       <property>

              <name>yarn.resourcemanager.webapp.address</name>

              <value>master:8088</value>

       </property>

</configuration>

将hadoop传输到slave1和slave2根目录

 scp -r /opt/develop/ hadoop-2.6.0-cdh5.6.0  [email protected]: /opt/develop/

 

scp -r/opt/develop/ hadoop-2.6.0-cdh5.6.0 [email protected]: /opt/develop/

 

1）配置环境变量

#root模式编辑/etc/profile

vim /etc/profile

#以上已经添加过java的环境变量,在后边添加就可以

Export PATH=$PATH:$JAVA_HOME/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/bin:/opt/develop/hadoop-2.6.0-cdh5.6.0/sbin

启动hadoop

Start-all.sh

格式化hdfs

Hadoop namenode–format

查看进程

注：

         留意这几个端口号，出现连接失败，拒绝链接，考虑防火墙和端口号问题