HDFS文件读取过程
分类:
文章
•
2024-07-04 23:31:46
- Client向NameNode发起RPC请求，来确定请求文件block所在的位置
- NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode都会返回含有该block副本的DataNode地址；这些返回的DataNode地址，会按照集群拓扑结构得出DataNode与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离Client近的排靠前，心跳机制中超时汇报的DataNode状态为STALE，这样的排靠后。
- Client 选取排序靠前的DataNode来读取block，如果客户端本身就是DataNode，那么将从本地直接获取数据（短路读取特性）
- 底层上本质是建立SocketStream（FSDataInputStream）,重复的调用父类DataInputStream的read方法，直到这个块上的数据读取完毕。
- 当读完列表的block后，若文件读取还没有结束，客户端会继续向NameNode获取下一批的block列表；
- 读取完一个block都会进行checksum验证，如果读取DataNode时出现错误，客户端会通知NameNode，然后再从下一个拥有该block副本的DataNode继续读。
- read方法是并行读取block信息，不是一块一块的读取，NameNode只是返回Client请求包含块的DataNode地址，并不是返回请求块的数据；
- 最终读取的所有的block会合并成一个完整的最终文件。
