大数据系列(2)HDFS写流程和读流程

两个问题

  • 数据块一般设置为128M
  • 如今的NameNode有两个节点,解决了如今的单点问题

HDFS写流程

  • 客户端向NameNode发起写数据请求
  • 分块写入DataNode节点,DataNode自动完成副本备份
  • DataNode向NameNode汇报存储完成,NameNode通知客户端
    大数据系列(2)HDFS写流程和读流程
    大数据系列(2)HDFS写流程和读流程

HDFS读流程

  • 客户端向NameNode发起读数据请求
  • NameNode找出距离最近的DataNode节点信息
  • 客户端从DataNode分块下载文件
    大数据系列(2)HDFS写流程和读流程