【1】从Hadoop 框架讨论大数据生态
1. Hadoop 是什么
2. Hadoop发展历史
可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
GFS —>HDFS
Map-Reduce —>MR
BigTable —>HBase
3.Hadoop 三大发行版本
Hadoop 三大发行版本：Apache、Cloudera、Hortonworks。
Apache 版本最原始（最基础）的版本，对于入门学习最好。
Cloudera 在大型互联网企业中用的较多。
Hortonworks 文档较好。
4.Hadoop 的优势
5.Hadoop 组成
Hadoop1.x和Hadoop2.x区别
5.1 HDFS 架构概述
HDFS（Hadoop Distributed File System）的架构概述：
- NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。
- DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。
- Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
5.2 YARN 架构概述
5.3 MapReduce 架构概述
MapReduce 将计算过程分为两个阶段：Map 和Reduce。
1）Map 阶段并行处理输入数据
2）Reduce 阶段对Map 结果进行汇总
6.大数据技术生态体系
- Sqoop：是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS 中，也可以将HDFS 的数据导进到关系型数据库中。
- Flume： 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
- Kafka： 是一种高吞吐量的分布式发布订阅消息系统。
- Storm： 用于 “连续计算“对数据流做连续查询，在计算时就将结果以流的形式输出给用户。
- Spark：是当前最流行的开源大数据内存计算框架。可以基于 Hadoop上存储的大数据进行计算。
- HBase：是一个分布式的、面向列的开源数据库。 HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。
- Hive：是基于 Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL查询功能，可以将 SQL语句转换为 MapReduce任务进行运行。 其优点是学习成本低，可以通过类 SQL语句快速实现简单的MapReduce统计，不必开发专门的 MapReduce应用，十分适合数据仓库的统计分析。
- R语言： 是用于统计分析、绘图的语言和操作环境。
- ZooKeeper：一个开源的实现。它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、 分布式同步、组服务等。目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。