大数据Hadoop，细数HDFS的那些概念（一）

 

HDFS是Hadoop中自带的分布式文件系统，并且是Hadoop工具的核心基础组件之一，今天，小编带大家对HDFS做一些深入的了解，对其内部概念进行阐述。

一、namenode和datanode

 

在HDFS中，每个服务器称之为一个节点。而所有的节点都分为两类，一个类是namenode，另一类是datanode。普通模式HDFS集群只有一个namenode和多个datanode，作用分别是管理和工作。

• namenode

namenode是HDFS的管理节点，其维护着HDFS的命名空间。它会时刻监控着整个HDFS的树状系统以及系统内的所有目录和文件，并将它们以文件的形式保存在磁盘上。

namenode还维护着HDFS中每个数据块所在的节点的信息，其中位置信息不会永久保存。因为HDFS启动的时候每个datanode会向namenode汇报信息。

namenode是整个HDFS的外接接口，客户端在对HDFS进行交互请求之前都要先经过namenode验证。

• datanod

datanode是HDFS的工作节点，每个datanode都维护着本节点的数据和剩余空间。datanode会随时向namenode汇报本节点的存储情况，这样在有客户端请求来临时，namenode才能对整个HDFS系统有清晰的把控。

 

namenode和datanode是整个HDFS中最核心的概念，但是如果namenode节点出现故障的话，整个HDFS文件系统就会失效，所有数据都会丢失。因此需要有一种止损方案来避免这种情况的出现，这个方案就是HDFS高可用。后续小编将持续介绍HDFS高可用以及其他HDFS概念，欢迎关注一起学习。