Spark：如何在不使用任何连接的情况下过滤行？

Question

假设我有两个数据帧，df1和df2。 df1和df2包含“id”列。我想筛选DF1，使得产生的DF，df1prime，有

• 只在DF1
• 没有在DF2找到的所有IDS发现的IDS，

不使用任何连接。我怎样才能做到这一点？回到RDDs而不是DFs会有帮助吗？欢迎pyspark和scala回应。

谢谢！

编辑：我想从DF1

Answer 1

保持整个行。如果你真的只需要在你的df1prime（如你在你的问题状态），那么你可以简单地做（斯卡拉）的ID：

val df1primeIDs = df1.select($"id").except(df2.select($"id")) 

如果需要的df1整列，如果没有加入，我没有看到比任何其他选项（伴我行以上，并假设id的类型为long）：

val df1prime = df1.where($"id".isin(
    df1primeIDs.collect().map(_.getLong(0)):_*) 
) 

但通常收集不是一个选项...