衍生变量创建redshfit

问题描述:

我有一个约3TB的红移群集表。作为一些预处理步骤的一部分,我需要创建一些派生变量。它们的逻辑非常简单,例如一个变量与两个变量的差异等。衍生变量创建redshfit

目前我使用更新命令来创建这样的变量。更新命令的问题在于它膨胀了桌子大小并需要一个真空命令来释放空间。我试图找到一些方法可以在不需要真空命令的情况下创建此类派生变量。我试图用派生变量创建一个不同的表并将它们连接到我的主键上。但是这同样耗时,因为创建新表和更新它需要几乎相同的时间。

任何其他方式,我可以实现这是更有效的?

将新数据保存在单独的表中,并且加入它应该相对较快,只要您在两个表上使用DISTSTYLE KEY具有相同的密钥,并且将DISTKEY包括在它们之间的连接中。