Hadoop分布式文件系统（三）

文件读取

如图5所示。
步骤1：客户端调用FileSystem对象的open()打开文件，这个对象是HDFS的一个实例。
步骤2：DistributedFileSystem通过RPC调用namenode，来确定文件起始块的位置。对于每一个块，namenode返回存有该块副本的datanode地址。DistributedFileSystem类返回一个FSDataInputStream对象给客户端并读取数据。FSDataInputStream类封装DFSInputStream对象，该对象管理datanode和namenode的I/O。
步骤3：客户端对这个输入流调用read()。存储文件起始几个块的datanode地址的DFSInputStream随即连接距离最近的datanode。
步骤4：通过对数据流反复调用read()方法，可以将数据从datanode传输到客户端。到达块的末端时，DFSInputStream关闭与该datanode的连接。
步骤5：寻找下一个块的最佳datanode，然后读取。
步骤6：客户端读取完成后，对FSDataInputStream调用close()方法。

图5

文件写入

如图6所示。
步骤1：客户端通过DistributedFileSystem对象调用create()方法来新建文件。
步骤2：DistributedFileSystem通过RPC调用namenonde，在文件系统的命名空间中新建一个文件，此时文件还没有相应的数据块。namenode执行各种不同的检查以确保这个文件不存在以及客户端有新建文件的权限。如果这些检查均通过，namenode就会为创建新文件记录一条记录；否则，文件创建失败并向客户端抛出一个IOException异常。DistributedFileSystem向客户端返回一个FSDataOutputStream对象，由此客户端可以开始写入数据。FSDataOutputStream封装一个DFSOutputStream对象，该对象负责处理datanode和namenode之间的通信。
步骤3：DFSOutputStream将它分成一个个的数据包，并写入内部队列，称为“数据队列（data queue）”。
步骤4：DataStreamer处理数据队列，它的责任是根据datanode列表来要求namenode分配适合的新块来存储数据复本。这一组datanode构成一个管线——我们假设复本数为3，所以管线中有3个节点。DataStreamer将数据包流式传输到管线中第一个datanode，该datanode存储数据包并将它发送到管线中的第二个datanode。同样，第二个datanode存储该数据包并且发送给管线中的第三个datanode。
步骤5：DFSOutputStream也维护者一个内部数据包队列来等待datanode的收到确认回执，成为“确认队列（ack queue）”。收到管道中所有datanode确认信息后，该数据包才会从确认队列删除。
步骤6：客户端完成数据的写入后，对数据流调用close()方法。将剩余的所有数据包写入datanode管线。
步骤7：联系namenode且发送文件写入完成信号，等待确认。

图6