Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks

发表自TPAMI2019。会议的版本发表在CVPR2017(Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution)。

主要的工作：在多金字塔层渐进地重建高分辨率图像的子带残差，直接从低分辨率输入特征提取特征，使用了Charbonnier损失函数（可以更好地处理异常值），使用递归层去共享金字塔层内和层间的参数。

网络结构：

上采样因子是S的话，则金字塔总共有层，模型主要包含两个分支：特征提取和图像重建模块

特征提取分支包括（1）特征嵌入子网络，用于转换高维非线性特征图，（2）转置卷积层用于提取的特征上采样2倍，（3）卷积层用于预测子带残差图片。第一个金字塔层有一个额外的卷积层用于提取LR图像的高维特征图。

特征重建分支就是将残差图像与上采样的图像按元素相加，逐层迭代。

 

特征嵌入子网络：

之前提出的LapSRN会随着上采样尺度的增加而增加参数量，主要有两个方向去减少网络参数：

第一个是跨金字塔层级之间共享参数，因此，网络参数量与上采样尺度无关，如图三所示；

第二个是金字塔层内的参数共享，在不增加参数的情况下，利用深度递归层对特征嵌入子网络进行扩展，有效地提高了网络的深度。这里的参数共享主要指的是在不同递归块中卷积层权值的共享。

在每一个金字塔层，如果特征嵌入子网络有R个递归块，每个递归块有D个不同的卷积层，上采样因子是S，L =  ，则网络的深度是

在特征嵌入子网络中，为了防止梯度消失和梯度爆炸，采用了局部残差学习：

本文中作者采用了第三种结构。

损失函数：

是Charbonnier惩罚函数，L1范数的可微变种。

多尺度训练: 2X, 4X, 8X