阅读笔记(二)：Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

Dual Residual Networks文章中运动模糊去除部分的阅读笔记

原文: Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

原文代码github

博主的阅读笔记：

• Gaussian&real-world noise removal（去噪任务阅读笔记）
• haze removal （去雾任务阅读笔记）
• raindrop removal （去雨滴任务阅读笔记）
• rain-streak removal （去雨线任务阅读笔记）
• 笔记总结（五种任务的对比）

---

---

运动模糊去除（Motion Blur Removal）

网络设计

RuRN-U

整个网络（RuRN-U），作者采用一个对称的自编码-解码器网络：

网络组成：

• 初始块：使用步幅(stride) = 2的两个卷积运算（c）和实例归一化( instance normalization)+ ReLU（n + r），通过4：1的下采样将输入图像按比例缩小
• 6个重复的DuRB-U
• 末尾块：通过应用1：2的上采样（up）来放大最后一个DuRB-U的输出到原始大小。

DuRB-U

作者采样上采样和下采样用于成对操作，并把它称为DuRB-U：

其中：

​ $c$c 为卷积层，$T_1^l$T1l​ 和 $T_2^l$T2l​ 为两个成对操作：分别为上采样和下采样操作。

​ up为上采样操作。

$ct_1^l$ct1l​ 和 $ct_2^l$ct2l​ 的具体细节：

• $ct_1^l$ct1l​ （“recp.”表示感受野，$l$l 表示第几个DuRB-U）

• $ct_2^l$ct2l​

  对所有的DuRB-U块，采用同样的 $ct_2^l$ct2l​ ：kernel size = 3×3, dilation rate = 1 and stride = 2，执行简单的下采样操作。

损失函数

​ SSIM和 $l_1$l1​ 损失的加权和

数据集

在去模糊和目标检测上测试DuRN-U的性能：

1. Results: GoPro Dataset

   去运动模糊：在GoPro Dataset上进行

2. Results: Object Detection from Deblurred Images

   去模糊图像上的目标检测：在Car Dataset上进行

   • GoPro数据集包含2,103对模糊和清晰的训练（GoPro-train）图像和1111对非重叠(non-overlapped)模糊和清晰的测试（GoPro-test）图像。
   • Car数据集包含1,151对模糊的和清晰的图像。

实验设置

Experimental Setting on GoPro Dataset

• 训练

  batch size = 10

  input size = 256x256：将原始训练图像（1280x720）重新缩放（re-size）到640x630的尺寸，然后随机裁剪获得input image

• 测试

  将原始测试图像（1280x720）re-size到640x630的尺寸得到的图像进行测试

Experimental Setting on Car Dataset

​ Car dataset只用来进行评估

​ 将原始的模糊图像从原始的720x720下采样到360x360的大小，然后把它们输入到已由 GoPro-train dataset训 练好的DuRN-U网络中，得到的输出再放大尺寸到700x700，将其送入YOLOv3网络中进行目标检测。