secondarynameNode工作原理

前提:

未使用secondarynameNode时,NameNode工作中会产生fsimage 和edtes,edits日志过大,直接导致集群 二次开机恢复原本状态过慢,引起开机时间过长。

secondarynameNode存在的意义

就是加快集群二次启动的速度(减小集群二次启动的时间)

secondarynameNode原理

secondarynameNode工作原理
(帮助NameNode 周期性在NameNode节点拷贝fsimage 和edtes 到自己的节点 上,进行合并,合并后生成全新的FSimage,最后将FSimage发送回NameNode.)
secondarynameNode最好是一个独立的节点, 此节点的配置最好与NameNode 相同。

触发secondarynameNode合并文件的条件

1、时间维度, 默认一小时合并一次 , 人为设置使用如下参数

dfs.namenode.checkpoint.period :3600
2、次数维度,默认100W次合并一次。人为设置使用如下参数

dfs.namenode.checkpoint.txns : 1000000 NameNode存储到元数据信息(fsimage 和edtes)可以多目录存储,防止元数据丢失。