读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

1 介绍

读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
广泛接受的一种观点是Veit等人提出的“拆散”观点。n个残差块的顺序连接被视为对应于其隐式2n2^n条路径的许多子网的集合。
(a)一个含有三个模块f1f_1f2f_2f3f_3残差块的网络,有232^3=8从输入到输出的隐式路径,例如:f1f_1f2f_2f3f_3f1f_1f2f_2f1f_1f3f_3f2f_2f3f_3f1f_1f2f_2f3f_3和1.
(b)用ffgg表示配对操作,最基本的结构是将(fif_i,gig_i)视为一个单位模块,在这种连接方式下,fif_igig_i始终对可能路径中的任何ii配对。
(d)在本文中,我们考虑的“双重残差连接”。这种样式可以为任何iijj配对fif_igjg_j,从而使iijj匹配。 在图(d)的示例中,(f1f_1,g1g_1),(f2f_2,g2g_2),(f3f_3,g3g_3),(f1f_1,g2g_2),(f1f_1,g3g_3)和 (f2f_2,g3g_3),出现在可能的路径中。我们推测{fif_i}和{gjg_j}之间潜在的交互作用数量的增加将有助于提高图像恢复任务的性能。
(d)可以确保ffgg在可能的路径中始终配对,而(c)结构不能做到。 我们称该模块为实现提议的双残差连接为Dual Residual Block(DuRB)。
读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

2 相关工作

1.高斯噪声去除
Mao等人提出了REDNet,它由多个卷积和反卷积层组成,并在它们上面有对称的跳过连接。Tai等提出了具有局部存储块和全局密集连接的MemNet,表明其性能优于REDNet。 然而,Suganuma等]表明,带有重复大小对的卷积核的
标准卷积自动编码器的性能要好得多,这是通过基于进化计算的体系结构搜索发现的。
2.运动模糊去除
这个任务有很长的研究历史。 早期的工作试图同时估计模糊核和清晰图像。 最近,基于CNN的方法可以很好地完成此任务。 Nah等提出了一种从粗到精的方法以及改进的残差块。 Kupyn等提出了一种基于生成对抗网络(GAN)的方法还创建了新的数据集。
3.阴霾去除
许多研究都采用以下雾度模型:I(x)=J(x)t(x)+A(x)(1t(x))I(x)= J(x)t(x)+ A(x)(1-t(x)),其中II表示朦胧的场景图像,JJ是真实的场景辐射度 (清晰的图像),tt是传输图,AA是全球大气光。 然后,任务是根据输入I(x)I(x)估算AAtt,从而估算J(x)J(x)。 最近,张等人提出了一种使用CNN联合估计ttAA的方法,该方法在很大程度上优于以前的方法。Ren等人和Li等提出了直接估计J(x)J(x)而不明确估计ttAA的方法。 Yang等人提出了一种将CNN集成到经典的基于先验的方法的方法。
4.雨滴检测和清除
在文献中已经提出了各种方法来解决这个问题。 Kurihata等提出用通过PCA学习的雨滴模板来检测雨滴。 Ramensh提出了一种基于K-Means聚类和中值滤波的方法来估计清晰图像。 最近,Qian等提出了一种混合网络,该网络由用于定位雨滴的卷积LSTM和用于生成清晰图像的CNN组成,并在GAN框架中进行了训练。
5.去除雨水条纹
Fu等使用“引导图像过滤” 提取图像的高频分量,并用其训练CNN以去除雨水条纹。Zhang提出联合估算降雨密度和除雨效果,以缓解降雨密度不均匀的问题。 Li等认为暴雨图像是由多个雨条纹叠加而成的清晰图像,并提出了一种基于RNN的方法来恢复清晰图像。 Li等提出了针对该任务的DenseBlock 的非本地增强版本,其网络性能大大优于以前的方法。

3 双残差块(DuRB)

读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

4 五种图像恢复任务

1.噪声去除
读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
(a)加性高斯噪声消除
(b)现实世界中的噪音消除
读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
2.运动模糊去除
读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
3.阴霾去除
读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
4.雨滴清除
读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration
5.暴雨去除
读论文:Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

5 总结与讨论

我们提出了一种残差连接方式,称为“双重残差连接”,旨在利用成对操作的潜力来进行图像恢复任务。 我们已经展示了实现这种连接方式的模块化块(DuRB)的设计,该模块具有用于配对操作的两个容器,以便用户可以向其插入任意操作。 我们还显示了块中两个操作的选择以及整个网络(DuRN),其中包含用于五种不同图像恢复任务的块堆栈。 使用9个数据集获得的实验结果表明,该方法始终比以前的方法效果更好。