Hadoop单机伪分布式搭建
Hadoop集群的搭建不太容易，在刚开始学习的时候，单机伪分布模式对于我们来说就可以使用了，下面图中列出的是大件过程中需要的软件，我是用的是相对应的版本，小伙伴们你们觉得我列出的版本可以用，就可以去这里下载使用，
链接：https://pan.baidu.com/s/1pxFbrpsaOeyhpur2c4YDqA
提取码：pt1f
一：安装虚拟机VM
使用上面我给的VM15.1.0版本可以直接安装。
二：搭建三台CentOS7虚拟机
我在上面给出的是CentOS7的iso镜像文件，可以下载直接安装在VM虚拟机里面，这里说一下，创建一个虚拟机比如说是Hadoop1。
三：搭建Hadoop伪分布式系统
1、安装jdk
jdk的安装就可以使用我再网盘里面的jdk-8u181-linux-x64.tar，大家也可以自行下载自己需要的。使用 SecureCRT将该压缩包传进各个节点服务器里面，然后直接使用下面的命令进行解压：
***tar -zxvf /usr/local/jdk-8u181-linux-x64.tar.gz***
解压完以后需要配置环境变量，编辑profile文件：
***vim /etc/profile***
在profile文件末尾添加以下代码：
export JAVA_HOME=/usr/local/jdk1.8.0_181
export JRE_HOME
export PATH=$PATH:$JAVA_HOME/bin:$PATH
保存后，使刚才编辑的文件生效：source /etc/profile
测试是否安装成功：java -version
如下表示jdk环境配置成功：
2、安装Hadoop
Hadoop的安装也很容易，在hadoop下载的压缩文件所在的目录，对改文件进行解压：
tar -zxvf hadoop-2.7.7.tar.gz
解压成功以后，我们也需要对Hadoop进行环境变量的配置， 编辑profile文件： ***vim /etc/profile*** 在profile文件末尾添加以下代码：
export HADOOP_HOME=/usr/local/hadoop-2.7.7 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
执行命令 hadoop -version，出现下面的界面则表示hadoop安装成功
3、配置hadoop的文件(所在目录：/usr/local/hadoop-2.7.7/etc/hadoop，解压hadoop后的etc/hadoop目录)
我们需要配置的几个文件先简单列一下：
与JDK有关的两个文件：hadoop-env.sh yarn-env.sh
用于Hadoop各个组件的配置：
（1）core-site.xml：用于配置通用属性
（2）hdfs-site.xml：用于配置HDFS属性
配置hadoop-env.sh ,如下图所示，打开该文件后，将jdk的路径写到相对的位置：
配置yarn-env.sh ,如下图所示，打开该文件后，将jdk的路径写到相对的位置：
配置core-site.xml文件，文件打开后，将下面的信息添加到里面，如下图所示：
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<!-- 这里填的是你自定义的hadoop工作的目录，端口默认-->
<value>/usr/local/hadoop-2.7.7/tmp</value>
</property>
配置hdfs-site.xml文件，文件打开后，将下面的信息添加到里面，如下图所示：
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
4、启动Hadoop
启动hadoop之前，必须要先格式化文件系统，会将相应的文件内容清空，使用命令:
hdfs namenode -format
启动所有的进程，使用如下命令：
start-all.sh
确认Hadoop正常启动成功的话，输入命令：jps，查看是否看到相应的进程，下面图中所示的就表示Hadoop启动成功：
我们还可以用虚拟里面的浏览器，输入地址：http://localhost:50070/，如下为正常访问的页面：