【数字图像处理相关练习3】图像超清晰度重建【明天继续更新】

一、前言（废话时间）

这不，老师上课留下了一个大作业，主题是 图像超清晰度重建。说实话，刚拿到这选题的时候，脑子里还是有点懵的，我能想到的类似的东西也就是前一阵儿网上【图像修复林徽因却修成网红脸】的那个事儿。

也就是说，我基本是啥也不会，嗯，没错。

借着学习的机会，正好整理【超清晰度重建】的前世今生，从他为什么诞生，再到人们的一步步探索，最终选取一种方法，我再照猫画虎给他做出来，整几个示例图给大家看看。

以上就是我做这次大作业的思路了（据说还要PPT答辩，淦），反正又不是要做论文，不用那么严肃，那就用自己的语言来写博客了。

二、扫盲知识

什么是 超清晰度重建？

• 顾名思义，这是一门【模糊】变【清晰】的神奇技术，在游戏、电影、相机、医疗影像等多个领域都有广泛的应用。
• 而低分辨率图像一般通过一系列的退化操作得到，在损失了大量细节的同时，也引入了一系列的噪声。
• 基于深度学习的超分辨率过程本质上就是通过网络模型采用成对的训练数据进行有监督学习的训练，进而拟合上述退化操作的逆操作，得到重建后的高清图像。
• 至于说，有没有不基于深度学习的超清晰度重建，我通过校内v*n在知网上找了找，又在博客里搜了搜，基本上没找到，姑且先认为没有。

兴起原因

首先近年来，随着高清设备的普及，相对早期的游戏或电影在上述设备上往往无法得到很好的表现，这促使了很多经典游戏和电影的高清重制工作被提上日程（比如《星际1高清重制版》和《魔兽3重置版》，老暴雪了233~）。

在重制过程中，核心是media的高清重建工作，而该部分工作在过去往往只能通过聘请专业的设计师耗费大量的资源来完成。而现在，通过图像超分辨率技术，大大简化了工作的流程，降低了工作的成本。

另一方面，图像超分辨率技术在相机拍摄过程中也有着广泛的应用，手机的快速发展也需要这样的技术升级：

三、基于深度学习的图像超分辨率技术解析

目前主流的图像超分辨率技术的解决方案可以分为：

• 基于单张图像的超分辨率技术
• 基于参考图像的超分辨率技术

下面将分别对其展开介绍，对于没有基于深度学习的算法，这里将不讨论。

1、基于单张图像的超分辨率技术

1.1、定义

通过一张输入图像，对图像中的高分辨率细节进行重建，最终得到图像超分辨率的结果，是传统图像超分辨率问题中的主流方法。

1.2、SRCNN 模型

• SRCNN 模型首次将卷积神经网络应用于图像超分辨率技术，相对于传统插值、优化算法在重建质量上取得了极大的提升。
• 该模型使用一个三层的卷积神经网络来拟合从低分辨率图像到高分辨率图像的函数。
• 图像超分辨率过程实际上是高频纹理信息的生成过程，对于低频部分通常来源于输入的低分辨率图像。
• 然而，SRCNN 模型的特征学习过程不仅要学习生成高频的信息，还需要对低频信息进行重建，大大的降低了模型的使用效率。
• 针对上述问题，引出VDSR 模型。

参考论文：Dong C , Loy C C , He K , et al. Image Super-Resolution Using Deep Convolutional Networks[J]. TPAMI 2016.

1.3、VDSR 模型

• VDSR 模型首次提出了残差学习的网络结构。
• 通过一个残差连接（蓝色箭头）将输入图像直接加到最终的重建高频残差上，可以显著的提升模型的学习效率。
• 此方法均是先对输入的低分辨率图像进行采样，再送入模型行进行学习，这种做法在降低了模型的推理速度的同时也大大增加了内存的开销。

参考资料： Kim J , Lee J K , Lee K M . Accurate Image Super-Resolution Using Very Deep Convolutional Networks[C]. CVPR 2016.

2、基于参考图像的超分辨率技术

为了改进前者，生成对抗损失函数引入的错误纹理生成问题，基于参考图像的超分辨率技术为该领域指明了一个新的方向。

2.1、定义

• 基于参考图像的超分辨率，顾名思义就是通过一张与输入图像相似的高分辨率图像，辅助整个超分辨率的复原过程。

• 高分辨率参考图像的引入，将图像超分辨率问题由较为困难的纹理恢复/生成转化为了相对简单的纹理搜索与迁移，使得超分辨率结果在视觉效果上有了显著的提升（相当于把问题转化了）。

• 接下来我会介绍几种基于参考图像的模型。

2.2、Landmark 模型

Landmark 模型，通过图像检索技术，从网络上爬取与输入图像相似的高分辨率图像，再进一步通过图像配准操作，最终合成得到对应的超分辨率结果，其算法流程见下图：

参考论文：Yue H , Sun X , Member S , et al. Landmark Image Super-Resolution by Retrieving Web Images[J]. TIP 2013.

2.3、CrossNet 模型

• CrossNet 模型进一步优化上述图像配准过程，提出了基于光流估计的模型结构（啥是光流估计我实在是没懂￣□￣）。

• 该模型通过估计输入低分辨率图像与参考图像之间的光流来对超分辨率图像进行重建。

• 最终结果的优劣很大程度上依赖于光流计算的准确与否，而这要求输入的低分辨率图像与参考图像在视角上不能存在很大的偏差，大大限制了上述模型的适用性。
  

参考论文：Zheng H , Ji M , Wang H , et al. CrossNet: An End-to-end Reference-based Super Resolution Network using Cross-scale Warping[C]. ECCV 2018.

2.4、SRNTT 模型

• 针对上述问题，SRNTT 模型提出了基于图像块的全局搜索与迁移模块，最终结果的优劣不再高度依赖于光流计算的精准度。
• 该模型通过在不同尺度上对输入低分辨率图像与高分辨率参考图像中的相似图像块进行全局的搜索与迁移，可以很好地通过高分辨率的参考图像中的高频纹理对输入低分辨率图像进行表达，进而得到非常真实的超分辨率结果。

参考论文：Zhang Z , Wang Z , Lin Z , et al. Image Super-Resolution by Neural Texture Transfer[C]. CVPR 2019.

3、【重点】大白话总结！！！！

• 说白了，基于单张图片就是依靠现有低频信息去猜高频信息，用了很多数学知识就看能不能猜的准，猜得准就好用，这个过程就很麻烦，费时间。
• 另外的基于参考图像方法，就是我先搜一张和你差不多的图像，我先看看他的低频信息和高频信息是怎么联系起来的，之后我再照猫画虎去推导我的高频信息。

四、自己动手实现 超清晰度重建

明天再更新…朕累了…朕要打游戏

思路

其他参考资料：

微软亚洲研究院官网博客：
https://www.msra.cn/zh-cn/