《“Zero-Shot” Super-Resolution using Deep Internal Learning》论文阅读

github地址：https://github.com/assafshocher/ZSSR

一、简介

本文提出了一种基于深度学习的SR(超分)方法——ZSSR，与以往的深度学习方法需要依赖大量数据集不同，本文强调“Zero-Shot”，即 0 样本学习（其实是在测试阶段，从待超分的LR图像中提取出一些训练对，来进行训练）。ZSSR利用了图像的非局部自相似性——即对于大多数自然图像而言，图像某一处的纹理、结构会在该图像的其它地方多次、重复地出现。如下图所示：

上图中的圆形洞口和扶手栏杆以不同的尺度出现了多次， 而只有基于图像内在信息的SR（Internal patch based SR）对上面的两个小的扶手栏杆有一个较好地重建。传统的有监督网络VDSR却忽视了这部分的信息，这是因为这种扶手栏杆只会在该图片的内部出现，而不会在其他的外部数据集中出现（即使这个数据集很大）。

 

二、数据集(这是本文的一个重点)

既然是深度学习方法，必然是三步走（准备数据、定义模型、训练）。本文的训练数据集是从待超分的 LR(低分辨率) 图像 中提取出来的（如下图（b）所示），这是和其他深度学习方法（如下图（a）所示）相比一个很大的不同：

（1）将 进行下采样，得到 ，这些图像在后面将会作为HR图像进行训练，因此称为“HR fathers”；每个HR fathers 再以期望的超分尺寸因子 进行下采样（默认bicubic），得到的图像在后面将会作为LR图像进行训练，因此称为“LR sons”。这样就获得了初步的 LR-HR 训练对。

（2）进行旋转（、、、）和镜像（垂直、水平），即将训练集扩展了8倍（x8）。

（3）用（1）和（2）得到的训练集来训练网络，得到训练好的模型，再将 通过该模型即得到对应的超分图像 。

（1）、（2）、（3）的示意图如下所示：

（4）对于很小的图像做较大尺度（）的超分，作者将 SR 过程逐步执行，这样同时也增强了网络的鲁棒性。过程如下：令，对于每一个超分因子 ，获得 对应的超分图像 ，利用（1）、（2）方法再获得 构成的 "HR fathers"，并将其加入到前面已获得的 "HR fathers" 中（、、 利用（1）、（2）构成的），将这些 “HR fathers" 以  进行下采样，获得对应的 “LR sons” ，即获得了新的 LR-HR 训练数据集，进行尺度为 的超分。 重复上述操作直到完成 的超分。

 

三、网络结构

这部分作者描述地很简单：是一个残差结构、含有8个隐藏层的全卷积网络，每个隐藏层都是60个通道；网络输入与输出同尺寸（输入是LR图像通过插值上采样成HR尺寸的图像，这也是一种常用的策略）。