HDFS工作
HDFS是一个文件系统:
分布式文件系统
功能:帮用户管理文件
看HDFS里面前一定要加上
hdfs dfs -xxx
hadoop fs -xxx
- 对用户提供一个统一的目录 顶层目录/data/2017-09-06/access.dat
- 存储用户的文件时会切成若干文件快分布式的在BATA NODE服务器中
- DATA NODE 软件存储用户文件时,是存在DATA NODE 软件所运行的服务器本地磁盘中
- 而文件块在哪个DATA NODE 上 有NAME NODE 做记录,NAME NODE是存在内存中的定期序列化在磁盘中的
- DATA NODE 出故障会有副本,而NAME NODE出故障会有 secondary namenode 和standby namenode