hadoop-checkpoint(元数据管理)机制
namenode对元数据的管理
1可以将元数据信息记录在内存对象(tree结构)
2可以将数据储存在磁盘中
原理流程
1在安装hadoop集群是对hadoop进行初始化设置(hadoop namenode-format),会自动生成Fsimage;
2操作服务器时产生的日志会保存到日志管理系统中
3在操作是一边往fsimage写数据,一边记录日志
4定期将fsimage序列化到本地磁盘image文件中
5secondary namenode 会定期下载image文件和日志文件,将image文件反序列化并和日志文件合并生成Fsimage文件(一小时合并一次)
6合并完成之后将Fsimage文件反序列化成image文件中,再讲最新的文件返回到namenode里去;
7当服务器宕机或者无法启动了(发生单点故障),将数据重新复制一份装在新的服务器中,重新启动(缺点:会丢失极小的数据)