HDFS文件的上传和读取原理以及元数据的管理机制
1.文件的上传
(1) 客户端请求上传文件,集群告知可以上传了
(2) 客户端请求上传第一块数据,集群告知端口、主机名
(3)客户端请求连接,集群告知链接成功
(4)客户端开始传输文件
(5)传输第二块的时候重复2-4的这个过程
(6)客户端传输完成后,进行反馈
2.文件的读取
(1)客户端请求读取文件,集群返回元数据信息(包括存储在哪个块这些)
(2)客户端和集群建立链接,集群进行传输数据第一块
(3)重复2过程,传输第二块数据
3.元数据的管理机制
(1) 当客户端对HDFS进行新增或者修改的时候,首先写入日志文件
(2) 当客户端操作成功后,进行元数据的修改
(3)每隔一段时间,日志文件就会将原来数据文件和日志整合成一个最新的文件存储到镜像文件中