Enhanced Deep Residual Networks for Single Image Super-Resolution

Bee Lim,Sanghyun Son,Heewon Kim,Seungjun Nah,Kyoung Mu Lee
Department of ECE, ASRI, Seoul National University, 08826, Seoul, Korea

前人方法的问题

1. 前人的方法对网结构的改变非常敏感。结构的改变或者初始化的不同都会影响网络的效率。
2. 目前的方法只能解决一个放大因子的超分辨率问题，没有发现不同放大因子超分辨率的关系。而VDSR解决了这个问题，但是它需要bicubic插值的图像作为输入，这样很耗时间和内存。SRResNet克服了时间和内存的问题，但ResNet的提出最初是用在高层问题，如检测和分类的，将其应用在低层的超分辨率问题会得到次优的结果。

论文基于上述方法的问题和优点，吸取了SRResNet的优点，在其基础上对其进一步改进，实现了多规模超分辨率网络。同时采用在低倍超分辨率基础上训练高倍超分辨率网络的方法，让多规模网络共享了很多参数，解决了多规模网络需要大量参数的问题。

论文方法

残差块的改进

上图展示了最初的残差块的结构、SRResNet的残差块的结构和论文提出的方法EDSR的残差块结构。可以看出相比于最初的残差块，SRResNet删去了最后的ReLU部分，而EDSR对SRResNet的残差块提出进一步改进，删去了其中的BN部分。

论文认为：BN是对特征的一个规范化，规范化可能会降低特征的多样性，移去BN可能会更好。除此以外ＢＮ的计算闭集耗时和内存，去掉BN可以大大降低GPU的内存使用。

基于论文改进的残差块结构，可以搭建一个更大规模的网络。

单倍超分辨率模型

提高网络效率的最好的办法就是增加参数的个数。粗略地讲，B层，F个特征通道的网络需要O(BF)的内存，的参数，因此在资源受限时，增大Ｆ可以比增大Ｂ获取更多的参数而同时不会站太多的内存。

但是实验发现当Ｆ增大到一定程度时，会造成网络不稳定。针对这个问题，论文加上一个residual scaling，因子是0.1.直白地说，就是加上一个函数，而这个函数的位置就是在残差块的最后一个卷积层后面。当F很大时，这个函数可以很好地稳定网络。

论文指出模型的baselline，F=64，residual scale=1，而EDSR：B=32，F=256，residual=0.1.

此外论文在训练X3,X4的超分辨率网络时，用X2的网络参数来初始化X3,X4的网络的。

从上图可以看出，用２倍超分辨率网络的参数初始化４倍超分辨率网络的参数逼随机初始化收敛更快。

所以论文认为，这样就可以将２倍超分辨率网络和４倍超分辨率网络的联系。

多倍超分辨率网络

首先多倍超分辨率网络的结构图如上。可以将网络分为三部分，头部、主干、尾部。

头部是预处理模块，主要是为了减少不同规模输入图像的差异。这部分的每个残差块的kernel是

主干是多倍超分辨率网络共享的部分，包括16个残差块。

经过主*分，尾部就是并行的三个单倍超分辨率网络。

最后MDSR总的网络Ｂ=80，Ｆ=64。

总的来说MDSR比EDSR的效果更好，但却只多了2.5倍的参数。

实验

数据集

800个DIV2K做训练，100个DIV2K做验证，Set4,Set14,B100,Urban100做测试。

训练细节

patch_size=

数据增强：随机的水平翻转和90度旋转。

所有的数据减去了整个数据集的均值。

ADAM优化器，，学习率没经过个batch就减半。

损失函数：

Geometric Self-ensemble

在测试阶段，对每个测试图像进行翻转和旋转得到８个图像（包括自己），将这个八个图像输入到网络中，得到起对应的超分辨率图像S1，再对每个超分辨率图像进行对应的逆变换（原来左旋90度的，现在右旋90度）得到８个超分辨率图像S2，再对这个八个图像取均值得到最终的超分辨率结果。

Note that geometric self-ensemble is valid only for symmetric downsampling methods such as bicubic downsampling.

评价

模型迭代了次。计算全部通道的psnr但是减去了图像的外６圈。

实验结果如上图。EDSR+和MDSR+表示用geometric self-ensemble的EDSR和MDSR。

1. 训练集数据增强

2. 测试集geometric self-ensemble
3. 去掉BN