HDFS 文件读写流程剖析

Write:

$ hadoop fs -put czz.log /wc_in/

1、Client调用FileSystem.create(filePath)方法,与NN进行RPC通信,check是否存在及是否有权限创建;假如不ok,就返回错误信息,假如ok,就创建一个新文件,不关联任何的block块,返回一个FSDataOutputStream对象

2、Client调用FSDataOutputStream对象的write()方法,

先将第一块的第一个副本写到第一个DN,第一个副本写完,

就传输给第二个DN,第二个副本写完

就传输给第三个DN,第三个副本写完

就返回一个ack package确认包给第二个DN,第二个DN接收到之后加上自身ok,就返回ack package确认包传输给第一个DN,第一个DN接收到第二个DN的ack package确认包加上自身ok,就返回ack package确认包给FSDataOutputStream对象,标志第一个块3个副本写完

3、当向文件写入数据完成后,Client调用FSDataOutputStream.close()方法,关闭输出流.

4、再调用FileSystem.complete()方法,告诉NN该文件写入成功.

Read:

1、Client调用FileSystem.open(filePath)方法,与NN进行RPC通信,返回该文件的部分或者全部的block列表,也就是返回FSDataInputStream对象。

2、Client调用FSDataInputStream对象read()方法;

  > 与第一个块最近的DN进行read,读取完成后会进行check;假如ok,就关闭与当前DN的通信,假如不ok,会记录失败块+DN信息,下次不会再读取,那么会去该块的第二个DN地址读取

  > 然后去第二个块的最近的DN上进行通信读取,check后,关闭通信

  > 假如block列表读取完成后,文件还未结束,就再次FileSystem会从NN获取该文件的下一批次的block列表.(就是连续的流,对于客户端的操作时透明无感知的)

3、client调用FSDataInputStream.close()方法,关闭输入流

--------------------------

      用人品去感动别人，用行动去带动别人，用阳光去照耀别人，用坚持去赢得别人，要求自己每天都去做与目标有关的事情，哪怕每天只进步一点点，坚持下来你就是最优秀卓越的！欢迎大家加入大数据qq交流群：725967421  微信群：flyfish运维实操    一起交流，一起进步！！
--------------------------