AWSRN论文阅读
Lightweight Image Super-Resolution with Adaptive Weighted Learning Network
https://github.com/ChaofWang/AWSRN
问题：
大多数基于卷积神经网络的SR模型需要大量的计算，这限制了它们在现实世界中的应用。
大多数SR网络只有一个经过卷积、转置卷积或subpixelshuffle的单尺度重构层，导致非线性映射模块的特征信息利用不足。多尺度重建方法虽然提供了更多的信息，但也引入了更多的参数，导致计算量大。
解决办法
- 我们提出了一种轻量级和有效的自适应加权超分辨网络的SISR。我们的模型在不增加参数和计算开销的情况下实现了比最先进的算法更好的性能。
- 设计了高效残差学习的局部融合块(LFB)，其中提出的自适应加权残差单元和局部残差融合单元可以实现信息和梯度的高效流动和融合;
- 提出的自适应加权多尺度(AWMS)重构模块不仅可以充分利用上下文信息，还可以通过分析不同尺度分支之间的信息冗余来降低参数。上采样模块
AWMS reconstruction module我们可以根据自动学习的权值去除一些贡献较小的尺度分支，在不损失性能的情况下减少参数
算法
1.大框架：该算法由特征提取模块、非线性映射模块和自适应权值多尺度重构模块组成。
特征提取模块：为核大小为3×3的卷积层，可以表示为
2.Local Fusion Block
LFB包括多个AWRUs和一个LRFU
(a)来自WDSR的基本无权重的RU;
(b) wRU，为具有wSE的残差单元生成两个权值;
©我们提出的剩余单位有两个独立权值的AWRU。
在LRFU中添加了瓶颈层以融合多个层次的还可以匹配快捷分支的维数。
实验
基本的设置
训练：DIV2K
测试：Set5 , Set14 , B100 , Urban100 , Manga109
从样本中随机裁剪出16个大小为48×48的patch
LR图像作为每个训练小批的输入。对训练集进行数据增强，如随机旋转90度、180度、270度和水平翻转。
对于超参数的设置，我们为AWRU设置了{32,128,32}个通道，即输入、内部、输出通道数分别为32,128,32。所有AWRUs中自适应权值的初始值均为1。
LFB默认有4个AWRUs。对于AWMS模块，我们设置了4个尺度层，内核大小分别为3×3、5×5、7×7和
分别9×9。每个规模分支的初始权值为0.25。我们的模型由ADAM optimizer进行训练，L1损失。通过权值归一化将学习率设为10的-3此方，然后每2倍降低一半，10的5次方迭代
实验方法
1. Basic RU, wRU and AWRU的有效性
不同RUs的比较结果；在WDSR。可以发现，在PSNR值较高时，wRU和AWRU的性能都优于基本RU，说明加权残差单元的有效性。此外，我们的AWRU的参数比wRU少。
随着网络深度的增加，剩余分支和快捷分支的权值都在减小。说明网络中AWRU越深，需要较小的尺度值才能防止梯度爆炸。因此，在网络的较深层次中，残差尺度的作用更为重要。此外，AWRU在浅层，特别是在快捷分支中具有较大的权重，这与常用的残差缩放技巧完全不同。这意味着浅层网络中的更多信息需要传输到更深层次的网络中。
2. AWRU和LRFU的重要性。
为了评估LFB中AWRU和LRFU组件的性能，我们首先设置一个以16个basicRU作为基线模型和一个堆叠了4个LFB的AWSRN-B模型。AWSRN-B具有与基线相同的RUs数量。
为了观察用于重建的AWRU的性能，我们建立了AWSRN-NA模型，在每个LFB里面的把AWRU替换为basic RU。
为了观察LRFU的表现，我们建立了模型AWSRN-NL，它从每个LFB中移除了LRFU。PSNR是尺度因子为2的基准数据集的计算平均值。如表2所示，AWSRN-B的性能优于两者：AWSRN-NA和AWSRN-NL，表明了我们提出的AWRU和LRFU的有效性。
3. 自适应加权多尺度重建
为了验证AWMS模块在重构层中的有效性，分析有16个basicRU 有4LFBS的AWSRN-B的WDSR。我们的AWMS模块的性能优于只有3×3卷积核的重构层。我们在尺度因子为2的基准数据集上实现了这些模型，并计算了平均PSNR此外，还可以发现不同规模分支上的权重有不同的贡献。这意味着可以在我们的AWMS模块中获得不同的特征信息。
为了进一步分析不同核大小对重构质量的影响，我们分别去除每个分支上的特征，并在Set5上测试结果。可以看出分枝具有3×3和5×5内核大小对结果的影响更大。WDSR上核数为7×7和9×9的分支权重较小。去除7×7核的分支后，对重建质量也无明显影响WDSR AWSRN-B。图5显示了不同规模分支上的可视化结果。可以发现3×3规模分支主要捕捉低频信息。AWMS模块中的大型分支对高频信息更加敏感。可见，我们的AWMS模块具有很好的实现能力捕获低频和高频信息重建。
为了进行全面的比较，我们设计了四个模型:AWSRN-S、AWSRN-SD、AWSRN-M和
AWSRN。也就是说，对于AWSRN- s、AWSRN- m和AWSRN，我们分别堆叠了1个、3个和4个LFBs。每个LFB有4个AWRUs和AWRU有{32,128,32}个通道。
AWSRN-S： 8 layers in one LFB,
AWSRN-SD： one LFB but has 8 AWRUs, each AWRU has {16,128,16} channels.