HDFS分布式文件系统学习总结
结构:主从结构(Master/slave)名称节点/数据节点;
缺点:不适合低延时数据访问;
无法高效存储大量小文件;
不支持并发写及任意修改文件;
NN:存储元数据;元数据保存在内存中;保存文件,block,DN之间的映射关系;
DN:存储文件内容;文件内容保存在磁盘中;维护block ID到DN本地文件的映射关系;
NN数据结构:
FSImage:用于维护文件系统树以及文件树中所有的文件和文件夹的元数据;
EditLog:录了所有针对文件的创建、删除、重命名等操作;
注释:FSImage中没有记录块存储在哪个数据节点。
NN启动:加载FSImage,执行EditLog;
SecondaryNN:合并FSImage、EditLog;
过程:1)SecondaryNameNode会定期和NameNode通信,请求其停止使用EditLog文件,暂时将新的写操作写到一个新的文件edit.new上来,这个操作是瞬间完成,上层写日志的函数完全感觉不到差别;
(2)SecondaryNameNode通过HTTP GET方式从NameNode上获取到FsImage和EditLog文件,并下载到本地的相应目录下;
(3)SecondaryNameNode将下载下来的FsImage载入到内存,然后一条一条地执行EditLog文件中的各项更新操作,使得内存中的FsImage保持最新;这个过程就是EditLog和FsImage文件合并;
(4)SecondaryNameNode执行完(3)操作之后,会通过post方式将新的FsImage文件发送到NameNode节点上
(5)NameNode将从SecondaryNameNode接收到的新的FsImage替换旧的FsImage文件,同时将edit.new替换EditLog文件,通过这个过程EditLog就变小了。
DN:负责保存数据和读取数据;
同性协议:
所有HDFS通信协议都是构建在TCP/IP上的;
客户端和数据节点使用数据节点协议 ,用火RPC远程调用实现;
HDFS局限性:
1、受限于内存大小;
2、受限于单个名称节点性能;
3、无法对不同程序进行隔离;
4、单点故障;
HDFS存储原理:
冗余保存:
优点:
1、加快数据传输速度------分别去取
2、容易检查数据错误--互相检查
3、保证数据可靠性--自动复制
存放方式:
第一副本存在上传节点;第二副本在不同机架;第三副本在第一机架不同节点上;其他随机;
读取:
用API确认机架ID和客户端ID,采用就近原则;没用相同ID,则随机;
数据错误与恢复:
三个:名称节点出错、数据节点出错和数据出错。
NN wrong:停机,从第二名称节点拷贝恢复;1.0需要停机,2.X有热备;
DN wrong:心跳信息;标记数据节点宕机,数据不可读;调整副本数量和位置;
Data wrong:MD5和sha1校验;
读数据:
写数据:
学习记录使用;