Spark的组件
组件
Spark包括多个集成组件，结构图如下：
Spark Core
spark core 为其他组件提供底层服务
包含Spark的基本功能， 包含任务调度、内存管理、容错机制等
内部定义了RDD——弹性分布式数据集
提供很多API来创建和操作RDD
Spark SQL
spark sql 是Spark处理结构化数据的库， 类似于Hive SQL, mySQL, 目前公司主要用于报表统计和数据查询
Spark Streaming
spark stream 是实时数据流处理组件(本质还是批处理)，类似Storm
spark stream 提供API操作实时流数据，如实时读写Kafka消息队列
Milb
mlib是包含通用机器学习功能的包，Machine learning lib
包含常用的机器学习算法， 如分类、聚类、回归等，还包含模型评估和数据导入
Graphx
图处理库，如社交网络图，可进行图的并行计算
提供各种图操作和常用的图算法， 如PangeRank算法
Cluster Managers
集群管理，Spark自带一个集群管理是单独调度器
常见集群管理包括 Hadoop Yarn, Apache Mesos