HDFS伪分布式单节点版安装(cdh版本)
我这边用的是hadoop-2.60-cdh5.15.1版本
下载Hadoop地址:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz
下载下来后:
我们把它解压一下
常用的命令是 tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz
可以看到目录结构:
然后我们可以根据配置文档:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html 进行配置
文档进来看到 Supported Platforms(支持的平台)
GNU/Linux作为开发和生产平台受到支持。Hadoop已经在2000个节点的GNU/Linux集群上演示过。也支持windos系统,但是该文档只展示linux的配置
linux系统需要jdk环境还有配置ssh免密登录(大家自行解决)
需要在 hadoop目录下的 etc/hadoop/hadoop-env.sh 下 配置jdk的环境(因为hadoop是java写的)
还有几处需要配置的,还有需要创建一个tmp文件夹,作为hdfs数据存放位置
在 etc/hadoop/hdfs-site.xml 下配置一个文件数据存放的地方
<property>
<name>hadoop.tmp.dir</name>
<value>/root/apps/tmp</value>
</property>
还有一个要配置的
/etc/hadoop/slaves
配上本机路径(目前是单节点)
然后配置一下 hadoop 环境变量
vi /etc/profile
export HADOOP_HOME=/root/apps/hadoop-2.6.0-cdh5.15.1
export PATH=$PATH:$HADOOP_HOME/bin
然后 第一次启动hdfs前一定要格式化hdfs数据存放文件
从上面看出,命令就是 hdfs namenode -format
存储的文件 格式化成功了。这样我们就可以启动hdfs
直接在hadoop 目录下的 sbin 执行 ./start-dfs.sh
浏览器上运行 http://192.168.1.201:50070/
出现下面的页面就代表,启动成功了