HDFS工作

HDFS是一个文件系统:

分布式文件系统

功能:帮用户管理文件


看HDFS里面前一定要加上

hdfs dfs -xxx

hadoop fs -xxx

HDFS工作

  1. 对用户提供一个统一的目录 顶层目录/data/2017-09-06/access.dat
  2. 存储用户的文件时会切成若干文件快分布式的在BATA NODE服务器中
  3. DATA NODE 软件存储用户文件时,是存在DATA NODE 软件所运行的服务器本地磁盘中
  4. 而文件块在哪个DATA NODE 上 有NAME NODE 做记录,NAME NODE是存在内存中的定期序列化在磁盘中的
  5. DATA NODE 出故障会有副本,而NAME NODE出故障会有 secondary namenode 和standby namenode

HDFS工作