Hadoop与Spark介绍
Hadoop与Spark介绍
大数据概念
1.海量的
2.规模大的，维度多的
3.爆发性增长的
4.价值密度低、价值量大
Hadoop
1.Hadoop生产背景
2.Hadoop生态体系架构
1.整体架构
2.组件介绍
3.zookeeper架构
Hadoop架构
Hadoop组件
Hadoop相关术语
HDFS架构
YARN架构
YARN资源的几种调度模式
1.先进先出
2.百分比调度模式
3.公平调度
Spark介绍
性能对比
模式介绍
架构介绍
架构模式
简单架构解决方案
Hadoop产品
Hadoop搭建
- hadoop推荐搭建模式：Ambari+HDP模式
- Hadoop搭建重要文件：
core-site.xml 全局参数
hdfs-site.xml hdfs参数
mapred-site.xml mapreduce参数
yarn-site.xml yarn参数
capacity-scheduler.xml yarn计算队列 - 50070 hdfs的界面
- 8088 yarn界面