HDFS副本放置策略和文件的读写流程

HDFS副本放置策略

第一个副本:
假如上传节点为DN节点，优先放置本节点；
否则就随机挑选一台磁盘不太慢 CPU不太繁忙的节点；

第二个副本:
放置在于第一个副本的不同的机架的节点上

第三个副本:
放置于第二个副本相同机架的不同节点上

其它副本
随机挑选

备注：
CDH机架有一个默认机架 虚拟的概念；
CDH一般不调整这种默认机架

文件读流程

1.首先client调用FileSystem对象的open(filePath)方法，与namenode通过[rpc]通信获得文件的第一批块(Block)的位置信息，这些位置信息按照Hadoop拓扑结构排序，距离客户端近的排在前面，也就是返回一个文件系统数据输入流(FSDataInputStream)对象
2.client调用FSDataInputStream对象read方法，会找出第一个块最近的DataNode进行read,读取完成后，会check,假如ok，就关闭与当前DN的通信；假如失败，会记录失败块+DataNode信息，下次不会再读取；然后去第二个块的最近的DN上通信读取，check后，关闭通信.
数据从DataNode源源不断地流向客户端
3.如果第一批块都读取完了，FSDInputStream就会去NameNode拿下一批块的位置信息，然后继续读，如果所有的块都读完了，这时就会Client调用FSDataInputStream.close()方法，关闭输入流.

文件写流程

1. Client调用FileSystem.open(filePath)方法，与NN进行【rpc】通信，
   返回该文件的部分或者全部的block列表，也就是返回FSDataInputStream对象
2. Client调用FSDataInputStream对象read()方法；
   a.与第一个块最近的DN进行read,读取完成后，会check；
   假如ok，就关闭与当前DN的通信；
   假如失败，会记录失败块+DN信息，下次不会再读取；
   那么会去该块的第二个DN地址读取.
   b.然后去第二个块的最近的DN上通信读取，check后，关闭通信。
   c.假如block列表读取完成后，文件还未结束，
   就再次FileSystem会从NN获取该文件的下一批次的block列表。
   (就是连续的数据流，对于客户端操作是透明无感知的).
3. Client调用FSDataInputStream.close()方法，关闭输入流。