HDFS伪分布式单节点版安装(cdh版本)

我这边用的是hadoop-2.60-cdh5.15.1版本

下载Hadoop地址:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz

 

下载下来后:

HDFS伪分布式单节点版安装(cdh版本)

 

我们把它解压一下

常用的命令是 tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz

可以看到目录结构:

HDFS伪分布式单节点版安装(cdh版本)

 

然后我们可以根据配置文档:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html    进行配置

文档进来看到 Supported Platforms(支持的平台)

HDFS伪分布式单节点版安装(cdh版本)

GNU/Linux作为开发和生产平台受到支持。Hadoop已经在2000个节点的GNU/Linux集群上演示过。也支持windos系统,但是该文档只展示linux的配置

HDFS伪分布式单节点版安装(cdh版本)

linux系统需要jdk环境还有配置ssh免密登录(大家自行解决)

 

HDFS伪分布式单节点版安装(cdh版本)

需要在 hadoop目录下的 etc/hadoop/hadoop-env.sh 下 配置jdk的环境(因为hadoop是java写的)

 

HDFS伪分布式单节点版安装(cdh版本)

还有几处需要配置的,还有需要创建一个tmp文件夹,作为hdfs数据存放位置

在 etc/hadoop/hdfs-site.xml 下配置一个文件数据存放的地方

 <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/apps/tmp</value>
    </property>

还有一个要配置的

/etc/hadoop/slaves

HDFS伪分布式单节点版安装(cdh版本)


 配上本机路径(目前是单节点)

 

然后配置一下 hadoop 环境变量

vi /etc/profile

export HADOOP_HOME=/root/apps/hadoop-2.6.0-cdh5.15.1
export PATH=$PATH:$HADOOP_HOME/bin

 

然后 第一次启动hdfs前一定要格式化hdfs数据存放文件

 

HDFS伪分布式单节点版安装(cdh版本)

从上面看出,命令就是 hdfs namenode -format

HDFS伪分布式单节点版安装(cdh版本)

存储的文件 格式化成功了。这样我们就可以启动hdfs

 

直接在hadoop 目录下的 sbin 执行  ./start-dfs.sh   

HDFS伪分布式单节点版安装(cdh版本)

 

浏览器上运行   http://192.168.1.201:50070/

 

出现下面的页面就代表,启动成功了

HDFS伪分布式单节点版安装(cdh版本)