图像超分辨LapSRN:Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution论文笔记
分类:
文章
•
2024-01-07 19:20:28
图像超分辨LapSRN:Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution论文笔记
简介
- 作者使用的超分辨结构,是拉普拉斯金字塔,每一级的金字塔都以粗糙分辨率的特征图为输入,用解卷积来升采样得到更精细的特征图。另外,网络的训练使用了robust Charbonnier loss function,这个损失函数可以获得更好的超分辨效果。
- LapSRN的最大优点是,一个模型就可以实现多级超分辨,例如一个*8的模型同时也可以实现*2和*4的超分辨任务,这主要也是得益于金字塔结构。
模型
- 网络结构如上图所示。LapSRN分成两个部分:特征提取和图像重建。特征提取中,每一级有d个卷积层,再跟随一个2倍的解卷积提升分辨率,之后和同样用解卷积提升分辨率的LR图像相加,得到更精细的SR。网络学习的就是其中的残差。
- 我们的最终目标是从输入x构建出靠近真实HR:Y的超分辨图像。假设在s级金字塔的残差图像为rs,升采样过后的图像为xs,对应的HR图像为ys=rs+xs。将HR用双三次插值降采样到对应的金字塔等级:Ys,构建的损失函数为:
L(Y,y;θ)
=1N∑Ni=1∑Ls=1ρ(Y(i)s−y(i)s)
=1N∑Ni=1∑Ls=1ρ((Y(i)s−x(i)s)−r(i)s)
- 其中ρ(x)=x2+ϵ2−−−−−−√是Charbonnier penalty function(l1范数的变体),N是每个批次的数量,L是金字塔的级数。在这种损失函数下,金字塔每级的输出都会靠近某个尺度下的HR,因此才可以同时实现*2*4*8的超分辨。
- 至于网络的封装,每个卷积核都是3*3*64,解卷积有4*4的核,**层采用LReLU。对*2*4的模型,每级的卷积层d=10,*8的d=5。
实验结果