HDFS简介

概述

HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个namenode和很多个datanode组成:namenode管理文件系统的元数据,而datanode存储了实际的数据。客户端联系namenode以获取文件的元数据或修饰属性,而真正的文件I/O操作时直接和datanode进行交互的。

HDFS简介

  • 系统中有一个namenode服务器,用来维护一个统一的虚拟目录结构,并记录每一个文件的元数据(文件名、文件总大小、文件分了几个块,每个块在哪些机器上,块的ID……..);
  • 系统中有大量的datanode服务器,用来存储用户的文件的物理的块!并帮用户读、存。