Hadoop(5)HDFS的读流程和写流程

1、写流程

Hadoop(5)HDFS的读流程和写流程

如上:client表示客户端,NameNode为主,DataNode为从,要存储的数据为Data
1、客户端向NameNode发起请求,需要存储数据Data
2、因为NameNode中是记录了所有DataNode的相关信息的,而数据最终要保存的地方就是DataNode,所以NameNode会返回可用的DataNode的信息给客户端
3、将Data分为1和2这两个数据块
4、客户端会将数据块存储到NameNode返回给他的DataNode1中去
5、因为数据块需要存储多份,所以DataNode之间会相互传输来进行存储
6、DataNode存储完数据后,会反馈给NameNode,NameNode会将对应的DataNode的相关信息进行更新
Hadoop(5)HDFS的读流程和写流程

2、读流程

Hadoop(5)HDFS的读流程和写流程

1、客户端向NameNode发起请求,需要获取名字为1的数据块
2、NameNode中保存了该数据块存储的位置,将DataNode的信息返回给客户端
3、客户端就近的方式去从DataNode获取数据
4、如果某个DataNode无法访问
5、从另一个DataNode中去获取数据
Hadoop(5)HDFS的读流程和写流程