Spark有条件地合并Scala中的2个数据帧

Question

我有2个数据帧，我需要将单个列有条件地合并在一起。每当id列中有一个空值时，我需要引用另一个DF来从那里获取值。

df1.show() 
+-----+---+----+-----+ 
|group|cat| id|value| 
+-----+---+----+-----+ 
| X| A| 1| 20.0| 
| X| A| 2| 20.0| 
| X| A|null| 55.0| 
| X| B| 1| 20.0| 
| X| B|null| 55.0| 
| Y| A| 3| 20.0| 
| Y| A| 4| 20.0| 
| Y| A|null| 55.0| 
| Y| B| 4| 20.0| 
| Y| B|null| 55.0| 
+-----+---+----+-----+ 
df2.show() 
+---+-------+ 
|cat|  id| 
+---+-------+ 
| A|1 2 3 4| 
| B| 1 4| 
+---+-------+ 

用我的最终期望的结果是：

+-----+---+-------+-----+ 
|group|cat|  id|value| 
+-----+---+-------+-----+ 
| X| A|  1| 20.0| 
| X| A|  2| 20.0| 
| X| A|1 2 3 4| 55.0| 
| X| B|  1| 20.0| 
| X| B| 1 4| 55.0| 
| Y| A|  3| 20.0| 
| Y| A|  4| 20.0| 
| Y| A|1 2 3 4| 55.0| 
| Y| B|  4| 20.0| 
| Y| B| 1 4| 55.0| 
+-----+---+-------+-----+ 

我已经试过类似这里另一个答案（Conditional Join in Spark DataFrame）

val joinCondition = when($"a.id".isNull && $"a.cat" === "b.cat", $"a.id"===$"b.id") 
    .otherwise($"a.id") 

df1.as('a).join(df2.as('b), joinCondition).show 

但总是与空数据帧结束的东西。

关于正确连接条件的任何想法？

Answer 1

您可以加入两个数据帧，然后用id从df2使用​​3210功能更新id：

(df1.join(df2.withColumnRenamed("id", "id2"), Seq("cat"), "left") 
    .withColumn("id", coalesce($"id", $"id2")).drop("id2").show) 

+---+-----+-------+-----+ 
|cat|group|  id|value| 
+---+-----+-------+-----+ 
| A| X|  1| 20.0| 
| A| X|  2| 20.0| 
| A| X|1 2 3 4| 55.0| 
| B| X|  1| 20.0| 
| B| X| 1 4| 55.0| 
| A| Y|  3| 20.0| 
| A| Y|  4| 20.0| 
| A| Y|1 2 3 4| 55.0| 
| B| Y|  4| 20.0| 
| B| Y| 1 4| 55.0| 
+---+-----+-------+-----+