NameNode 和 SecondaryNameNode 工作机制

用户头像
古月木易
关注
发布于: 18 小时前

1.NameNode启动



(1)首次启动需要格式化NameNode,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。



(2)客户端对元数据进行增删改的请求。



(3)NameNode记录操作日志,更新滚动日志。



(4)NameNode在内存中对元数据进行增删改。



2.SecondaryNameNode工作



(1)SecondaryNameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果。



(2)SecondaryNameNode请求执行CheckPoint。



(3)NameNode滚动正在写的Edits日志。



(4)将滚动前的编辑日志和镜像文件拷贝到SecondaryNameNode。



(5)Secondary NameNode加载编辑日志和镜像文件到内存,并合并。



(6)生成新的镜像文件fsimage.chkpoint。



(7)拷贝fsimage.chkpoint到NameNode。



(8)NameNode将fsimage.chkpoint重新命名成fsimage。



名词解释:



Fsimage:NameNode内存中元数据序列化后形成的文件。



Edits:记录客户端更新元数据信息的每一步操作(可通过Edits运算出元数据)。



3.详细工作机制



NameNode启动时,先滚动Edits并生成一个空的edits.inprogress,然后加载Edits和Fsimage到内存中,此时NameNode内存就持有最新的元数据信息。Client开始对NameNode发送元数据的增删改的请求,这些请求的操作首先会被记录到edits.inprogress中(查询元数据的操作不会被记录在Edits中,因为查询操作不会更改元数据信息),如果此时NameNode挂掉,重启后会从Edits中读取元数据的信息。然后,NameNode会在内存中执行元数据的增删改的操作。



由于Edits中记录的操作会越来越多,Edits文件会越来越大,导致NameNode在启动加载Edits时会很慢,所以需要对Edits和Fsimage进行合并(所谓合并,就是将Edits和Fsimage加载到内存中,照着Edits中的操作一步步执行,最终形成新的Fsimage)。SecondaryNameNode的作用就是帮助NameNode进行Edits和Fsimage的合并工作。



SecondaryNameNode首先会询问NameNode是否需要CheckPoint(触发CheckPoint需要满足两个条件中的任意一个,定时时间到和Edits中数据写满了)。直接带回NameNode是否检查结果。SecondaryNameNode执行CheckPoint操作,首先会让NameNode滚动Edits并生成一个空的edits.inprogress,滚动Edits的目的是给Edits打个标记,以后所有新的操作都写入edits.inprogress,其他未合并的Edits和Fsimage会拷贝到SecondaryNameNode的本地,然后将拷贝的Edits和Fsimage加载到内存中进行合并,生成fsimage.chkpoint,然后将fsimage.chkpoint拷贝给NameNode,重命名为Fsimage后替换掉原来的Fsimage。NameNode在启动时就只需要加载之前未合并的Edits和Fsimage即可,因为合并过的Edits中的元数据信息已经被记录在Fsimage中。

本文来源于:奈学开发者社区 ,如有侵权请联系我删除



用户头像

古月木易

关注

还未添加个人签名 2020.06.08 加入

还未添加个人简介

评论

发布
暂无评论
NameNode和SecondaryNameNode工作机制