Hadoop2.X的安装与配置（一）准备阶段
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
Hadoop有三种安装模式：
1、本地模式：一台Linux
特点：没有HDFS(Hadoop Distributed File System)，即没有数据的存储。
只能测试MapReduce程序，处理的数据是本地数据（Linux文件）
2、伪分布模式： 一台Linux
特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能
3、全分布模式： 多台Linux（以3台为例）
特点：真正的分布式环境，用于生产环境
这里首先介绍如何安装并配置Hadoop的本地模式
准备阶段：
一、安装Linux
如果不懂，可以点击https://blog.****.net/weixin_38187469/article/details/79720107查看如何安装Linux
二、在Linux上安装JDK
如果不懂，可以点击https://blog.****.net/weixin_38187469/article/details/79765393查看如何安装JDK
三、关闭防火墙
命令：systemctl stop firewalld.service 关闭防火墙
systemctl status firewalld.service 查看防火墙的状态为inactive
四、配置主机名
使用vi编辑器修改/etc下的hosts配置文件
添加此机器的IP地址和对应的主机名到此文件中，保存并退出:wq
注：这的IP和主机名要与你本台主机对应
五、在Windows上下载Hadoop2.X的安装包
点击http://hadoop.apache.org/releases.html#Download进行下载，下载binary中的*.tar.gz压缩包
六、将安装包上传到Linux上，并解压缩
使用WinSCP进行上传
使用SecureCRT连接上Linux，将上传完毕的hadoop-2.7.3.tar.gz压缩包解压到事先创建好的training目录下
命令：cd tools 进入上传后压缩包所在的目录
tar -zxvf hadoop-2.7.3.tar.gz -C ~/training 解压到事先创建好的training目录下
七、设置环境变量
查看HADOOP_HOME所在位置
使用vi编辑器修改bash_profile配置文件
命令：vi ~/.bash_profile
添加如下内容
注：这里HADOOP_HOME所在位置根据自己将Hadoop压缩包解压的位置以及版本进行修改
八、生效环境变量
命令：source ~/.bash_profile
九、查看是否配置成功
输入start,按两下Tab键，如下所示，即为Hadoop的启动命令；
输入stop,按两下Tab键，如下所示，即为Hadoop的关闭命令。
出现如下内容说明准备阶段配置成功
到此，Hadoop2.X的安装配置的准备阶段就完成了。接下来就可以根据需要安装本地模式、伪分布模式或全分布模式。
点击如下链接，进行不同模式的安装：
版权声明：本文为博主原创文章，未经博主允许不得转载。
https://blog.****.net/weixin_38187469/article/details/79765876