Spark之RDD解析
一、RDD定义
分布式弹性数据集，只读的分区集合，不同分区可以被保存在不同的节点上，从而进行并行计算
二、RDD操作
RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时也可以通过应用程序中的集合来创建.
-
转换
指定RDD之间的相互依赖关系 粗粒度的数据转换操作 适合对数据集执行相同操作的批处理式应用，而不适合用于需要异步、细粒度状态的应用
比如map、filter、groupBy、join等，接受RDD并返回RDD
-
行动
执行计算并输出指定形式，接受RDD返回并不一定是RDD，可能是一个值，也可能是结果，比如count，collect操作
惰性调用
RDD只有在行动操作发生时才会进行真正计算，前面的转换操作只是记录下一些基础数据集合和RDD生成的轨迹。
通过输入的数据集，创建RDD,经过一系列转换，最后在F处进行Action操作，形成DAG拓扑排序，这一过程称为血缘关系（Lineage）。
采用惰性调用，实现RDD转换的管道化，避免转换操作中的数据等待。
三、RDD特性
-
基于内存进行迭代计算。不同计算阶段之间会重用中间结果，即一个阶段的输出结果会作为下一个阶段的输入
-
高效的容错性。RDD不需要冗余和备份，一旦某一分区数据丢失，只需要通过血缘关系重新计算即可得到丢失的数据，不需要回滚整个系统，充分避免了数据复制的巨大开销，由于自身计算是不同节点之间并行的特性，实现高效容错
-
节约数据交换开销。中间结果持久化到内存，数据在多个RDD之间传递，不需要存入磁盘，避免读写产生的IO开销。存的数据可以是JavaBean,避免序列化和反序列化开销
-
弹性。RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘
四、RDD依赖关系
-
宽依赖
一个父RDD的一个分区对应一个子RDD的多个分区
-
窄依赖
父RDD的一个分区只被一个子RDD的一个分区所使用
主要通过看父RDD对应的子RDD是否为单个，是窄依赖，否则宽依赖。
窄依赖的数据恢复较快，只需要根据父RDD计算分区即可，
而宽依赖可能涉及多个父RDD
Shuffle操作
分区之间执行行动操作，产生数据交互，比如将集群多个节点的key拉到同一个节点进行聚合操作
五、阶段划分
spark通过生成的依赖关系进行阶段划分：在DAG中进行反向解析，遇到宽依赖就断开，将窄依赖尽量划分到同一阶段，实现流水线计算
上图中，划分成三个阶段，A到B是宽依赖，B,F到G也是宽依赖，以宽依赖为节点，划分成三个阶段。每个阶段内都没有Shuffle操作，阶段内是任务集合，结合会被提交给任务调度器，任务调度器将任务分发到不同Executor上进行计算.
RDD运行也就是以下过程：
- 根据数据集创建RDD
- 建立RDD之间的依赖关系，构建DAG
- 对DAG划分阶段，将阶段任务分发到具体工作节点进行执行。
- 汇总执行结果输出