Self-Learning Video Rain Streak Removal: When Cyclic Consistency Meets Temporal Correspondence网络结构分析

《Self-Learning Video Rain Streak Removal: When Cyclic Consistency Meets Temporal Correspondence》这篇文章选自2020CVPR，是一篇可以没有对照干净组及其他先验信息输入的视频去雨文章。

网络结构如下：

该网络一共有三个部分，WarpingNet，PredNet和EHNet。

WarpingNet：
WarpingNet一共做了两件事情，估计Optical Flow和对齐图片。
对Optical Flow的估计公式如下：

其中，函数G(·)用来估计Optical Flow，输入下标i和j表示第i帧和第j帧，I和B表示当前Optical Flow是从雨图和背景图估计的，估计值赋给变量C。
对齐操作如下：

函数W（·）表示warp操作，输入是第i帧和i->j的Optical Flow，
而对齐操作的损失函数方程如下：

下标t表示当前帧。

PredNet：
PredNet根据时间相关性从当前帧和相邻帧中估计出当前帧的一个缺少细节的无雨框架。
理论公式如下：

其中F_Interp (·) 表示去雨操作，输入是包括当前对齐帧的前后对称s数量的对齐帧，以及当前帧。
损失函数如下：

表示估计的无雨框架与当前帧的距离。

EHNet：
EHNet根据时间一致性原则，从当前帧和相邻帧中提取当前帧的细节，并注入到第二步估计的框架中。
理论公式如下：

其中F_Enhance(·) 函数实现细节提取，输入正是第二步中提到的总数量为2s的对齐帧，提取到的细节注入到上一步得到的框架中得到无雨恢复细节的帧图像。
损失方程如下：

得到的帧图像与对应帧的Optical Flow进行Wraping操作，得到的输出减去当前帧再乘上一个系数取平均。
这个系数M的计算公式如下：

其中ω用于控制指数函数的形状。

整个网络的损失函数如下所示：

至此我们关于网络架构的三个组成部分就全部讲完了，包括理论依据，实现函数，和损失方程。