Hadoop架构——云计算的具体实现

Hadoop是IT行业一个新的热点，是云计算的一个具体实现、Hadoop本身具有很高的技术含量，是IT工程师学习的首选！下面我们来详细讲讲什么是Hadoop。 

Hadoop是IT行业一个新的热点，是云计算的一个具体实现、Hadoop本身具有很高的技术含量，是IT工程师学习的首选！下面我们来详细讲讲什么是Hadoop。 

完整hadoop讲解****下载地址： 

1、http://kuai.xunlei.com/d/CLCBYHQKJQNT 

2、http://kuai.xunlei.com/d/CSMFERCHAGEE 

Hadoop是什么： 

Hadoop = The Hadoop projects 

Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie 

Hadoop要解决的两个问题： 

1、海量数据的存储 -- HDFS 

2、海量数据的分析 -- MapReduce 

Hadoop发展的历史： 

始于2002年的apache项目Nutch 

2003年Google发表了关于GFS的论文 

2004年Nutch的开发者开发了NDFS 

2004年Google发表了关于MapReduce的论文 

2005年MapR被引入了NDFS 

2006年改名为Hadoop，NDFS的创始人加入Yahoo，Yahoo成立了一个专门的小组发展Hadoop 

HDFS设计目标： 

1、Very large files 

2、Streaming data access 

write-once, read-many-times 

3、Commodity hardware 

HDFS架构： 

在Hadoop中，一个文件被划分成大小固定的多个文件块，分布的存储在集群中的节点中 
 
 
Block：一个文件分块，默认64M 

NameNode：保存整个文件系统的目录信息，文件信息以及文件相应的分块信息。 

DataNode：用于存储Blocks 

HDFS的HA策略：NameNode一旦宕机，整个文件系统将无法工作。 

如果NameNode中的数据丢失，整个文件系统也就丢失了。 

2.x开始，HDFS支持NameNode的active-standy模式。

转自：http://hechuanzhen.iteye.com/blog/1748102

本文转自夏雪冬日博客园博客，原文链接：http://www.cnblogs.com/heyonggang/archive/2012/12/21/2827833.html，如需转载请自行联系原作者