您的位置: 首页 > 文章 > Hadoop之HDFS学习之路(1)

Hadoop之HDFS学习之路(1)

分类: 文章 • 2024-04-04 09:23:53

HDFS：指分布式文件系统，采用分而治之的方式，把大文件拆分成若干小文件存储到集群上(由若干有一定内存，cpu等廉价电脑组成的)。
HDFS的结构与组成
- 采用master/slave结构，整个集群由一个名称节点(NameNode)、一个备用名称节点(Secondary Namenode)和若干个数据节点(DateNode)组成。
- namenode主要是负责管理文件空间名和客户端访问，datenode主要负责对文件进行存储管理。
namenode主要功能

1. 管理元数据信息，比如文件空间名的管理，文件到文件块的映射，文件块到数据节点的映射等；
2. 管理文件系统的命名空间。
3. 监听工作，监听客户端事件，如当客户端对文件进行删除、修改等操作；对datenode进行监听，如datenode向namenode发送心跳等。
4. 心跳检测：datanode定期向namenode发送负载信息报告自身所在节点的情况，以便namende对集群的全面监控；接收到心跳的表示当前数据节点正常工作。

datenode主要功能
1. 数据块的读写。
2. 定期的向namenode发送心跳报告和数据块报告。