图像超分辨率文献：“Zero-Shot” Super-Resolution using Deep Internal Learning

本文发表于CVPR 2018上
文献地址：https://arxiv.org/abs/1712.06087
作者的项目地址：http://www.wisdom.weizmann.ac.il/~vision/zssr/

简介

1. 本文主要工作：引入“Zero-Shot” SR方法（ZSSR），该超分辨率算法不依赖任何其他图片样本和预先训练，使用图像的内部自相似信息，测试时训练一个特定图片的CNN网络。在超分辨率一张LR图片时，对该图再度降采样，学习二者之间的超分辨参数，再用于LR的进行超分辨。
2. 文章中作者把传统的深度学习超分辨方法叫做 SotA supervised CNNs。这些方法的网络深度较深并且经过良好的设计，通过大量外部已有数据库作为训练数据，这些算法会在测试数据满足训练数据的一些条件时（ideal），有着极好的效果，但是如果测试数据没有满足约束时（no-ideal），效果会很差。
3. 训练数据的选取：训练数据只包含测试图片这一幅，需要对训练样本扩张，将HR多次不同下采样的LR，HR father对应多个LR son，这些LR-HR用例对作为网络的训练数据。使用旋转、反射方式增加训练数据。
4. ZSSR是在test的同时训练的，但是因为网络结构小，因此和SotA supervised CNNs相比test的时间相差不多。
5. 理论基础：“the internal entropy of patches inside a single image is much smaller than the external entropy of patches in a general collection of natural images”，意思是单幅图片的内部图像块的熵（可理解为有用信息）要比一般的自然图像集合的外部图像块熵要小很多。根据这个理论基础，作者提出可以仅使用singe image作为训练数据，真正做到了the first unsupervised CNN-based SR method。

网络结构

LR图像I先再度降采样s倍，成为I↓s。网络学习I↓s到I的映射，然后把网络用于I的升采样，得到HR图像I↑s。

网络结构：使用简单的全卷积网络，8个隐藏层，没个隐层层64个通道，使用Relu作为**函数，网络的输入图片会被插值到输出图片大小，网络只学习插值的LR和相应的HR parent，使用L1损失函数，Adam优化器，初始学习率是0.001。

实验结果

测试数据满足条件ideal时，ZSSR与SotA supervised CNNs方法相比，效果差不多。
测试数据no-ideal时，ZSSR实验效果要很好多。
作者还提出，ZSSR方法更容易生成图像内部已有的类似信息，而通过外部训练数据学习的超分辨算法，如EDSR+，更易学习到图像外部信息，未来的工作中，会考虑把两方面的工作相结合，做出一定的图像超分辨率的效果提升工作。