您的位置: 首页  >  文章  >  HDFS 原理、架构与特性

HDFS 原理、架构与特性

分类: 文章 • 2024-05-31 09:55:22

https://my.oschina.net/leejun2005/blog/151872
HDFS架构
•NameNode
•DataNode
•Sencondary NameNode
HDFS 原理、架构与特性HDFS 原理、架构与特性
Namenode 的目录结构：
${ dfs.name.dir}/current /VERSION
/edits
/fsimage
/fstime
dfs.name.dir 是 hdfs-site.xml 里配置的若干个目录组成的列表。

Namenode 上保存着 HDFS 的名字空间。对于任何对文件系统元数据产生修改的操作， Namenode 都会使用一种称为 EditLog 的事务日志记录下来。

  • 整个文件系统的名 字空间，包括数据块到文件的映射、文件的属性等，都存储在一个称为 FsImage 的文件中，这 个文件也是放在 Namenode 所在的本地文件系统上。
  • Namenode 在内存中保存着整个文件系统的名字空间和文件数据块映射 (Blockmap) 的映像 ．关键的元数据结构设计得很紧凑，因而4G 内存的 Namenode 足够支撑大量的文件 和目录。
  • 当 Namenode 启动时，它从硬盘中读取 Editlog 和 FsImage ，将所有 Editlog 中的事务作 用在内存中的 FsImage 上，并将这个新版本的 FsImage 从内存中保存到本地磁盘上，然后删除 旧的 Editlog ，因为这个旧的 Editlog 的事务都已经作用在 FsImage 上了。这个过程称为一个检查 点 (checkpoint)

HDFS NameSpace HDFS 支持传统的层次型文件组织结构.用户或者应用程序可以创建目 录，然后将文件保存在这些目录里。用户可以创建、删除、移动或重命名文件. HDFS 不支持用户磁盘配额和访问权限控制，也不支持硬链接和软链接。但 是 HDFS 架构并不妨碍实现这些特性。

Namenode 负责维护文件系统命名空间，任何对文件系统名字空间或属 性的修改都将被 Namenode 记录下来. 应用程序可以设置 HDFS 保存的文件 的副本数目。文件副本的数目称为文件的副本系数，这个信息也是由 Namenode 保存的。

DataNode Datanode 将 HDFS 数据以文件的形式存储在本地的文件系统中. 把每个 HDFS 数据块存储在本地文件系统的一个单独的文件中。Datanode 并不在同一个目录创建所有的文件，实际上，它用试探的方法来确定 每个目录的最佳文件数目，并且在适当的时候创建子目录。
当一个 Datanode 启动时，它会扫描本地文件系统，产生一个这些本地文件对应 的所有 HDFS 数据块的列表，然后作为报告发送到 Namenode ，这个报告就是块状态 报告。

Secondary NameNode:

  • 修改在masters文件中配置了的机器上的conf/hdfs-site.xml文件;
  • core-site.xml：这里有2个参数可配置，但一般来说我们不做修改。fs.checkpoint.period表示多长时间记录一次hdfs的镜像。默认是1小时。fs.checkpoint.size表示一次记录多大的size，默认64M。
  • Secondary NameNode 定期合并 fsimage 和 edits 日志，将 edits 日志文件大小控制在一个限度下。

HDFS 通讯协议都是构建在 TCP/IP 协议上.
客户端通过一个可 配置的端口连接到 Namenode ， 通过 ClientProtocol 与 Namenode 交互。而 Datanode 是使用 DatanodeProtocol 与 Namenode 交互.
DataNode 通过周期性的向 NameNode 发送心跳和数据块来保持和 NameNode 的通信，数据块报告的信息包括数据块的属性，即数据块属于哪 个文件，数据块 ID ，修改时间等， NameNode 的 DataNode 和数据块的映射 关系就是通过系统启动时 DataNode 的数据块报告建立的。从 ClientProtocol 和 Datanodeprotocol 抽象出一个远程调用 ( RPC ）， 在设计上， Namenode 不会主动发起 RPC ， 而是是响应来自客户端和 Datanode 的 RPC 请求。

读写原理

相关推荐