Spark架构原理-宽依赖和窄依赖

一 概念

  • 窄依赖:父RDD的每个分区只被子RDD的一个分区所使用,可以理解为父RDD的分区和子RDD的分区关系是一对一。
  • 宽依赖:父RDD的每个分区都可能被多个子RDD分区所使用,可以理解为父RDD的分区和子RDD的分区关系是一对多。

二 workcount中的依赖关系

Spark架构原理-宽依赖和窄依赖