hadoop之hdfs的角色以及读写流程

hadoop之hdfs的角色以及读写流程

1. hdfs简介
　hdfs集群分为两大角色：namenode、datanode
1.1、 namenode工作职责：
1.1.1、 记录元数据：
　　　　　　文件的路径
　　　　　　文件的副本数量
　　　　　　文件的切块大小
　　　　　　文件的块信息
　　　　　　文件块的位置信息
1.1.2、 响应客户端请求
1.1.3、 平衡datanode上的文件块存储负载
　　datanode在启动时，会向namenode报告自身所持有的block，当有客户端要上传文件时，namenode会优先分配空余空间比较多的datanode给客户端用；另外，如果有新增datanode节点，namenode也会通知其他旧的datanode节点转移自身的一部分block到新节点上。
1.2、 namenode的元数据管理机制
1.2.1、namenode的完整元数据存储在内存中
1.2.2、内存元数据也会序列化到磁盘文件中
1.2.3、namenode还会对客户端引起元数据变化的操作进行日志记录
1.2.4、secondary namenode会定期从namenode上下载新编号的日志到本地，与fsimage文件进行合并处理，处理完后，会将新的fsimage文件上传给namenode进行覆盖，进而保持namenode上的fsimage文件比较新，积压的操作日志比较少
namenode元数据管理机制和checkpoint机制示意图

1.3、 datanode工作职责：
1.3.1、 接收客户端发送过来的文件块block
1.3.2、为客户端读取指定的文件块block
1.3.3、定期向namenode汇报自身所持有的block

2、hdfs客户端读写数据：
2.1、hdfs客户端写数据：
2.1.1、client向namenode请求上传文件，namenode根据client的上传信息检查目标文件是否已存在，父目录是否存在
2.1.2、namenode返回是否可以上传
2.1.3、client请求namennode上传第一个 block以及副本的数量(默认是3)
2.1.4、namenode返回3个datanode的主机名（DN2、DN3、DN4）以及blockid。
2.1.5、client请求3台datanode中的最近的一台DN2上传数据（本质上是一个RPC调用，建立pipeline），DN2收到请求会继续调用DN3，然后DN3调用DN4，将真个pipeline建立完成，逐级返回客户端
2.1.6、client开始往DN2上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，DN2收到一个packet就会传给DN3，DN3传给DN4；DN2每传一个packet会放入一个应答队列等待应答
2.1.7、当一个block传输完成之后，client再次请求namenode上传第二个block的到服务器。
2.2、hdfs客户端写数据示意图：

2.3、hdfs客户端读数据：
2.3.1、client请求namenode下载一个文件a.avi，namenode查询元数据，找到文件块所在的datanode服务器
2.3.2、namenode返回该文件的元数据信息，client挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流，读取第一个block。
2.3.3、datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）
2.3.4、客户端以packet为单位接收，先在本地缓存，然后写入目标文件
2.1.5、当一个block读取完成之后，client再次请求namenode读取第二个block的到本地。
2.4、hdfs客户端读数据示意图：