目录

基于CNN的SR方法（2014-2020优秀论文）

轻量型SR网络

真实场景SR

基于GAN的SR

经典网络

---

单帧图像超分辨率重建（Single Image Super Resolution, SISR）旨在从一张降质的低分辨率图像（Low Resolution, LR）中恢复出相应的高分辨率图像（High Resolution, HR），这是一个不适定的逆问题。SISR方法可以分成三类：基于插值的方法，基于重构的方法和基于学习的方法。随着深度学习和人工智能的发展，使用卷积神经网络（CNN）重建图像是研究的热点。

两篇全面的超分综述
Deep Learning for Image Super-resolution: A Survey（2019， IEEE TPAMI）
A Deep Journey into Super-resolution: A survey （2019）

---

基于CNN的SR方法

论文代码再github上可以找到

1、Image Super-Resolution Using Deep Convolutional Networks (SRCNN，ECCV2014，Depth：3层)

• 首次将CNN引入SR领域
• 输入是双三次插值后的大图。优：网络可学习的信息增加；缺：插值方法可能引入噪声，影响网络性能
• SRCNN网络结构
  

2、Accelerating the Super-Resolution Convolutional Neural Network （FSRCNN，ECCV2016，Depth：8层）作者同SRCNN

• 输入LR小图
• 对SRCNN改进，提出更加快速和参数更少的模型。提出使用反卷积层放大图像，使得网络可以输入未插值的小图；反卷积层位于网络末端，减少网络计算量。
• 先用1x1降维，再用1x1升维，bottleneck结构降参；将一个5x5卷积分解成2个3x3卷积，后者参数更少。
• FSRCNN网络结构
  

3、Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network （ESPCN，CVPR2016， Depth：3层）

• 输入LR小图，提出亚像素卷积上采样方式，即通过通道数扩张和像素点重新排列来实现图像放大。如需要将图像放大r倍，则亚像素卷积层输出图像的长和宽必须是r*输入的长/宽，整张图就放大了r倍。
• ESPCN网络结构
  

4、Accurate Image Super-Resolution Using Very Deep Convolutional Networks （VDSR，CVPR2016，Depth：20层）

• 输入插值大图
• 将网络层数加深至20层提高精度，20个卷积层均采用3x3的卷积核。
• 提出skip-connection，全局残差
• 采用大学习率训练网络，使用梯度裁剪策略
• VDSR网络结构
  

5、Deeply-Recursive Convolutional Network for Image Super-Resolution （DRCN， CVPR2016，Depth：20层）与VDSR作者相同

• 输入插值大图
• 递归监督，递归同一卷积层16次，该16个卷积层参数共享，在网络深度增加时没有引入额外的待学习参数，达到降参的目的
• 全局skip-connection，缓解梯度消失/梯度爆炸问题
  
  
  网络最终输出
  
  6、Image Super-Resolution via Deep Recursive Residual Network（DRRN，CVPR2017，Depth：52层）
• 输入大图
• 递归一个模块，（DRCN递归一个卷积层）模块包含2个卷积层
• 全局和局部skip-connection
• DRRN网络结构

7、Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution（LapSRN, CVPR2017，Depth：24层）

• 输入LR
• 提出金字塔结构，逐步放大图像。具体为：把放大2倍的结构作为基础模块，通过级联2个该模块，在放大2倍的基础上实现4倍放大，通过级联3个该模块，在放大4倍的基础上实现8倍放大。这种方式对于大倍率放大任务（x8）效果较好
• 提出新的损失函数 Charbonnier loss
• 训练一次网络可以完成2,4,8倍的放大任务
  
  改进版本MS-LapSRN（84层）；加入了一个递归，增加了一个带有上采样的浅通道来增加图像信息；仍然是使用2×的模块作为基础模块，递归实现4×，8×的任务，2×模块内的conv层也是使用递归，联合使用双重递归大大降低了参数量，实现了一个轻量级的模型

8、