Spark：Driver和Job，Stage概念
Driver Program, Job和Stage是Spark中的几个基本概念。Spark官方文档中对于这几个概念的解释比较简单，对于初学者很难正确理解他们的涵义。
官方解释如下（http://spark.apache.org/docs/latest/cluster-overview.html）：
Driver Program: 运行应用程序的main()函数并创建SparkContext的过程.
Job:由多个任务组成的并行计算，这些任务在Spark操作(例如保存、收集)下生成;您将在驱动程序日志中看到这个术语。.
Stage: 每个作业被划分为更小的任务集，称为相互依赖的阶段(类似于MapReduce中的map和reduce阶段);您将在驱动程序日志中看到这个术语。
看起来很抽象对不对？反正我看完后对于这几个概念还是一头雾水。于是Yahoo了一下，在*上看到一篇帖子问了类似的问题。下面有好心人举了一个简单易懂的例子，解释了这几个概念的区别。
链接如下：
http://*.com/questions/28973112/what-is-spark-job
我简单整理了一下，方便大家参考。
例子：
术语总是难以理解的，因为它取决于所处的上下文。在很多情况下，你可能习惯于“将Job提交给一个cluster”，但是对于spark而言却是提交了一个driver程序。
也就是说，对于Job，spark有它自己的定义，如下：
A parallel computation consisting of multiple tasks that gets spawned in response to a Spark action (e.g. save, collect); you’ll see this term used in the driver’s logs.在这个例子中，假设你需要做如下一些事情：
1. 将一个包含人名和地址的文件加载到RDD1中
2. 将一个包含人名和电话的文件加载到RDD2中
3. 通过name来Join RDD1和RDD2，生成RDD3
4. 在RDD3上做Map，给每个人生成一个HTML展示卡作为RDD4
5. 将RDD4保存到文件
6. 在RDD1上做Map，从每个地址中提取邮编，结果生成RDD5
7. 在RDD5上做聚合，计算出每个邮编地区中生活的人数，结果生成RDD6
8. Collect RDD6，并且将这些统计结果输出到stdout
为了方便说明，我将这个例子整理成如下的一张示意图：
其中红色虚线表示输入和输出，蓝色实线是对RDD的操作，圆圈中的数字对应了以上的8个步骤。接下来解释driver program, job和stage这几个概念：
- Driver program是全部的代码，运行所有的8个步骤。
- 第五步中的save和第八步中的collect都是Spark Job。Spark中每个action对应着一个Job，transformation不是Job。
- 其他的步骤（1、2、3、4、6、7）被Spark组织成stages，每个job则是一些stage序列的结果。对于一些简单的场景，一个job可以只有一个stage。但是对于数据重分区的需求（比如第三步中的join），或者任何破坏数据局域性的事件，通常会导致更多的stage。可以将stage看作是能够产生中间结果的计算。这种计算可以被持久化，比如可以把RDD1持久化来避免重复计算。
- 以上全部三个概念解释了某个算法被拆分的逻辑。相比之下，task是一个特定的数据片段，在给定的executor上，它可以跨越某个特定的stage。
到了这里，很多概念就清楚了。驱动程序就是执行了一个Spark Application的main函数和创建Spark Context的进程，它包含了这个application的全部代码。Spark Application中的每个action会被Spark作为Job进行调度。每个Job是一个计算序列的最终结果，而这个序列中能够产生中间结果的计算就是一个stage。
再回过头来看一下Spark Programming Guide，对于Transformations和Actions是有着明确区分的。通常Action对应了Job，而Transformation对应了Stage：
Action列表：
- reduce
- collect
- count
- first
- take
- takeSample
- takeOrdered
- saveAsTextFile
- saveAsSequenceFile
- saveAsObjectFile
- countByKey
- foreach
Transformation列表：
- map
- filter
- flatMap
- mapPartitions
- mapPartitionsWithIndex
- sample
- union
- intersection
- distinct
- groupByKey
- reduceByKey
- aggregateByKey
- sortByKey
- join
- cogroup
- cartesian
- pipe
- coalesce
- repartition
- repartitionAndSortWithinPartitions
至于task，官方文档中是这么说的：Task is a unit of work that will be sent to one executor。再结合官方对Stage的解释，可以这样理解：
一个Job被拆分成若干个Stage，每个Stage执行一些计算，产生一些中间结果。它们的目的是最终生成这个Job的计算结果。而每个Stage是一个task set，包含若干个task。Task是Spark中最小的工作单元，在一个executor上完成一个特定的事情。