大数据之HDFS
一、HDFS概述
HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件上的分布式文件系统。
其除具备其它分布式文件系统相同特性外，还有自己特有的特性：
高容错性：认为硬件总是不可靠的
高吞吐量：为大量数据访问的应用提供高吞吐量支持
大文件存储：支持存储TB-PB级别的数据
HDFS适合做什么？
大文件存储、流式数据访问
HDFS不适合做什么？
大量小文件、随机写入、
二、基本架构
三、HDFS的高可靠性
四、HDFS文件写入流程
五、HDFS读数据流程
六、HDFS特性
(1)统一的文件系统：
HDFS对外仅呈现一个统一的文件系统。
(2)统一的通讯协议：
统一采用RPC方式通信。NameNode被动的接收Client, DataNode的RPC请求。
(3)空间回收机制：
支持回收站机制，以及副本数的动态设置机制。
(4)数据组织：
数据存储以数据块为单位，存储在操作系统的HDFS文件系统上。
(5)访问方式：
提供JAVA API，HTTP方式，SHELL方式访问HDFS数据。
低延迟读取