安装Hadoop

首先要有三台虚拟机https://mp.csdn.net/postedit/82429526

一JDK

在虚拟机中安装gdk

1在windows下下载好，在/home下建一个文件夹downloads并把windows下载的jdk放到这个文件夹中

2把这个压缩解开 tar -xzvf 压缩包名

3在根目录下创建一个目录/soft 把这个解压缩得到的文件移到这里

4创建一个符号链接  ln -s /soft/jdk1.8.0_65/ /soft/jdk  也就是为soft/jdk1.8.0_65/创建一个名为/soft/jdk的快捷方式

之所以创建符号链接是因为名字很长不好记

5测试是否安装成功：

进入到bin目录下

[[email protected] jdk]# cd /soft/jdk
[[email protected] jdk]# cd bin

[[email protected] bin]# ./java -version

配置jdk环境变量（CentOS和ubuntu不一样，这里是CentOS）

1编辑/etc/profile文件[[email protected] soft]# nano /etc/profile  【没有nano就去下载一个yum -y install nano】
（这个是系统的配置文件，对应的是所有的用户，是永久修改的），

在这个文件的最下端添加：

export JAVA_HOME=/soft/jdk  

export PATH=$PATH:$JAVA_HOME/bin   (PATH环境变量为它当前的环境变量再加上jdk/bin下的环境变量。注：linux的环境变量是用:分割的)

ctrl+o保存

回车确定名字

ctrl+x退出

2让环境变量即刻生效

[[email protected] soft]# source /etc/profile   【每修改一次配置文件，都要写一次这句】

之后便可以在任何目录下使用[[email protected] /]# java -version这个命令

 

二Hadoop

安装Hadoop

1把Hadoop压缩包放到Linux/home/downloads下

2把这个压缩解开 tar -xzvf 压缩包名

3把这个解压缩得到的文件移到/soft

4创建一个符号链接  
[[email protected] soft]# ln -s /soft/hadoop-3.0.3 /soft/hadoop

 

配置hadoop环境变量

1编辑/etc/profile文件在文件末尾添加：
export HADOOP_HOME=/soft/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

变成这样：

2生效#source /etc/profile

 

三配置Hadoop

1独立模式（本地模式）：什么也不用干，不需要启动其他的hadoop进程
 

2伪分布模式：所有的进程都在一台机器上跑，模拟的是小规模的集群

配置方式：

[[email protected] hadoop]# cd /soft/hadoop/etc/hadoop #进入hadoop的配置目录

1编辑core-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://localhost/</value>
                </property>
            </configuration>
2编辑hdfs-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>
3编辑mapred-site.xml
            注意:cp mapred-site.xml.template mapred-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>
4编辑yarn-site.xml
            <?xml version="1.0"?>
            <configuration>
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>localhost</value>
                </property>
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>