大数据学习3-Hadoop伪分布式搭建和使用
伪分布式:就是假的分布式。都在一台pc机器上用虚拟机模拟不同的web服务器来工作
而分布式:
一.搭建:
安装jdk
配置环境
安装hadoop
配置环境变量
-------在本地模式中依旧也要做前几步骤---------
修改配置文件:
①配合core-site.xml
配置完 可以进行用cat命令查看 core-site.xml文件:
②配置hdfs-site.xml
启动 运行集群:
第一步.初始化配置文件(也就是格式化 ):
运行后:出现0 说明成功运行
自动生成一个目录:dfs文件夹
第二步:启动服务(namenode)
1.
2.
命令:jps是用来看进程的命令
第三步:
在web端访问HDFS文件系统:http:地址:50070:
如何使用hadoop进行文件的上传下载到HDFS
①在hdfs创建一个目录:
hadoop fs -mkdir -p /user/xxx (-p的意思是创建多级目录)
②查看在HDFS上创建的目录:
③上传文件到HDFS的新创建的目录下:
在功能上:
hadoop下的 fs 命令集 和 hdfs 下的 dfs 提供的功能是一样的。
④删除:
hadoop fs -rm -R /user/ambow/xxxx
其实就是将文件映射到 hdfs(文件系统)上 实际上的文件存储位置还是 一个节点的电脑上
就是 hdfs的web上看到数据目录:但文件的位置仍然在 节点的电脑上。