hdfs读写文件流程

HDFS写文件流程

hdfs读写文件流程

写详细步骤:

1.客户端hdfsclient创建FileSystemNameNode发出写文件的请求(请求创建文件的元信息)。
2.NameNode响应上传文件的元信息:可写的DataNode列表{文件名:数据.txt ;路径:/abc;数据块:2;数据块1:{dn1.1},{dn2.2};数据块2:{dn2.1},{dn3.2}}。

3.client创建FSDataOutputStream输出流 ,client端按128MB的块切分文件。 向dn1节点写数据,DataNode之间进行水平复制
4.每个DataNode写完一个块后,会返回确认信息;写完数据,关闭输输出流。发送完成信号给NameNode。 
 

HDFS读文件流程

hdfs读写文件流程

 

读文件详细步骤:

  1. client创建FIleSystem向NameNode,查询元数据信息,
  2. NameNode返回元信息数据:{文件名:数据.txt ;路径:/abc;数据块:2;数据块1:{dn1.1},{dn2.2};数据块2:{dn2.1},{dn3.2}}。
  3. client创建输入流FSInputStream,根据元数据信息下载第一个数据块。。。第二个数据块
  4. 关闭输入流