Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks
发表自TPAMI2019。会议的版本发表在CVPR2017(Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution)。
主要的工作:在多金字塔层渐进地重建高分辨率图像的子带残差,直接从低分辨率输入特征提取特征,使用了Charbonnier损失函数(可以更好地处理异常值),使用递归层去共享金字塔层内和层间的参数。
网络结构:
上采样因子是S的话,则金字塔总共有层,模型主要包含两个分支:特征提取和图像重建模块
特征提取分支包括(1)特征嵌入子网络,用于转换高维非线性特征图,(2)转置卷积层用于提取的特征上采样2倍,(3)卷积层用于预测子带残差图片。第一个金字塔层有一个额外的卷积层用于提取LR图像的高维特征图。
特征重建分支就是将残差图像与上采样的图像按元素相加,逐层迭代。
特征嵌入子网络:
之前提出的LapSRN会随着上采样尺度的增加而增加参数量,主要有两个方向去减少网络参数:
第一个是跨金字塔层级之间共享参数,因此,网络参数量与上采样尺度无关,如图三所示;
第二个是金字塔层内的参数共享,在不增加参数的情况下,利用深度递归层对特征嵌入子网络进行扩展,有效地提高了网络的深度。这里的参数共享主要指的是在不同递归块中卷积层权值的共享。
在每一个金字塔层,如果特征嵌入子网络有R个递归块,每个递归块有D个不同的卷积层,上采样因子是S,L = ,则网络的深度是
在特征嵌入子网络中,为了防止梯度消失和梯度爆炸,采用了局部残差学习:
本文中作者采用了第三种结构。
损失函数:
是Charbonnier惩罚函数,L1范数的可微变种。
多尺度训练: 2X, 4X, 8X