大数据Hadoop生态圈【1】

1、Hadoop 1.0的构架

大数据Hadoop生态圈【1】

 HDFS :分布式文件的存储。

YARN:数据处理的资源调度器,负责调度内存CPU带宽等计算资源。

MapReduce:做实时的离线批处理的工具,基于磁盘的。

Tez:优化和分析mapreduce的作业,构建成一个有向无环图,保证处理效率

Spark:与Mapreduce类似,不过是基于内存的处理速度更快。

Hive:实现数据仓库的功能,支持SQL,但是会把SQL语句转换成一堆的MapReduce作业在执行。

Pig: 处理流数据的处理,轻量级的分析,相对与mapreduce简单化。

Oozie:作业流调度系统,把完整的工作会分成很多工作细节

Zookeeper:动物园管理员,分布式协调一致性服务。

Hbase:分布式文件系统,非关系型的分布式数据库,做顺序读写的,随机读写。

Flume:日志搜集用的,在做流式数据分析的时候用的。

Sqoop:数据导入导出的。很多企业传统数据库的导入导出Hadoop用的。

                                                大数据Hadoop生态圈【1】

 Ambari:快速部署工具,在hadoop上智能化地去部署和管理一整套hadoop平台上的套件