spark基础
spark可类比于hadoop的MapReduce，性能上有更多优化，一个主要的特点就是spark是基于内存运算的，相比于MapReduce的基于磁盘，减少了IO开销，运算速度快；另一个优化是spark提供基于DAG的运算，防止数据反复落地；同时spark提供多种计算模式，满足不同需求
spark 生态系统
下图展示了spark生态系统的主要模块：
Mesos,hadoop YARN:底层资源调度管理器
HDFS:hadoop基于磁盘分布式文件系统；S3:亚马逊云端存储服务
Tachyon:基于内存的分布式文件系统
SparkCore:Spark应用模块的基础
SparkStreaming:满足流计算需求
StructuredStreaming:支持毫秒级流计算需求
SparkSql:满足交互查询分析需求
SparkGraphX:满足图计算需求
SparkMLlib:提供机器学习算法库
| 应用场景 | 时间 | 其他框架 | spark框架 |
|---|---|---|---|
| 批数据处理 | 小时 | mapreduce,hive | spark core |
| 基于历史数据的交互查询 | 分，秒 | Impala,Dremel Drill | spark sql |
| 基于实时流数据处理 | 秒，毫秒 | Storm,S4 | spark streaming,structured streaming |
| 基于历史数据的挖掘计算 | - | mahout | spark mlib |
| 基于图数据的计算 | - | pregel,hama | spark graphx |
spark 部署
spark 部署分为单机模式和集群模式
集群调度模式有三种：
standalone
YARN
mesos