一文了解 Apache Spark 3.0 动态分区裁剪（Dynamic Partition Pruning）的使用

福利：过往记忆大数据知识星球双11限时折扣，原价99元，现价39元，需要的先加 fangzhen0219 微信了解详情，三天内不满意随时全额退。星球没有花哨玩法，主要就是大数据相关问题答疑，能力范围内知无不言、大数据相关资料分享、大数据原创技术文章分享等。另外，本知识星球有效期到2020年4月28日，到期需续费。

• spark.sql.optimizer.dynamicPartitionPruning.enabled 参数必须设置为 true，不过这个值默认就是启用的；

• 需要裁减的表必须是分区表，而且分区字段必须在 join 的 on 条件里面；

• Join 类型必须是 INNER, LEFT SEMI （左表是分区表）, LEFT OUTER （右表是分区表）, or RIGHT OUTER （左表是分区表）。

• 满足上面的条件也不一定会触发动态分区裁减，还必须满足 spark.sql.optimizer.dynamicPartitionPruning.useStats 和 spark.sql.optimizer.dynamicPartitionPruning.fallbackFilterRatio 两个参数综合评估出一个进行动态分区裁减是否有益的值，满足了才会进行动态分区裁减。评估函数实现请参见 org.apache.spark.sql.dynamicpruning.PartitionPruning#pruningHasBenefit。

我们先使用 Spark 创建两张表：

     .select(col("id"), col("id").as("k"))

     .write.partitionBy("k")

     .format("parquet")

     .mode("overwrite")

     .saveAsTable("iteblog_tab1")

     .select(col("id"), col("id").as("k"))

     .write.partitionBy("k")

     .format("parquet")

     .mode("overwrite")

     .saveAsTable("iteblog_tab2")

DAG 图如下：

如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop

DAG 图如下：

如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop

可以看出，iteblog_tab1 表的扫描相比上面那个多了一个分区过滤（PartitionFilters），在一些情况下性能提升能达到 2 - 18 倍。