大数据-NameNode工作机制

NameNode工作机制

NameNode的工作职责

(1)负责客户端的请求及响应

(2)管理元数据

NameNode对元数据的存储方式

(1)内存元数据(NameSystem)

(2)磁盘元数据镜像文件

(3)数据操作日志文件(可通过日志运算出元数据)

大数据-NameNode工作机制

NameNode

(1)NameNode格式化,创建fsimage和fsedits文件

(2)NameNode启动,加载fsedits和fsimage到内存

(3)HDFS客户端对元数据进行增删改查

(4)NameNode更新内存

Secondary NameNode

(1)Secondary NameNode请求是否需要checkpoint

(2)NameNode响应请求,返回结果

(3)Secondary NameNode请求执行checkpoint

(4)NameNode滚动当前正在写的fsedits

(5)NameNode将滚动的fsedits和fsimage拷贝到Secondary NameNode

(6)Secondary NameNode加载fsedits和fsimage到内存并合并

(7)Secondary NameNode生成新的fsimage.chkpoint

(8)Secondary NameNod将新的fsimage.chkpoint拷贝到NameNode

(9)NameNode将fsimage.chkpoint重新命名成fsimage

参考资料:http://hadoop.apache.org/docs/stable2/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html