读论文：Image Super-Resolution by Neural Texture Transfer

文章：https://arxiv.org/abs/1903.00834
源码：https://github.com/ZZUTK/SRNTT

1 介绍

论文主要贡献：
1.一个更普遍的RefSR问题，打破了SISR的性能障碍（即缺乏纹理细节），并放宽了现有RefSR的约束（即一致性假设）。
2.对于RefSR问题，提出了端到端深度模型SRNTT，以通过多尺度神经纹理传递恢复以任何给定参考为条件的LR图像。
3.建立了基准数据集CUFED5，以促进RefSR方法的进一步研究和性能评估，以处理与LR输入图像具有不同相似度的参考图像。

2 相关工作

1 基于深度学习的SISR
●VGG（perception loss感知损失）
●GANs（adversarial loss对抗损失）
●SRNTT合并了与感知相关的约束（即感知损失和对抗损失）以恢复视觉上更合理的SR图像。

2 基于参考的超分辨率重建
●RefSR方法需要参考图像和LR图像有良好的对齐
●基于RefSR方法采用光流对齐输入和参考图像
●SRNTT将Ref纹理“融合”到最终输出中，通过深层模型在多尺度特征空间中进行操作，从而可以从具有缩放，旋转甚至是非严格变形的参考图像中学习复杂的传输过程 。

3 本文方法

1.Feature Swapping（特征交换）

算出LR的第i块特征图和Ref中的第j块特征图的相似度。（其中Ref图像需要经过相同倍数的上下采样变得模糊与LR图像匹配）

等式（2）中的Ref是用来匹配的，等式（3）中的Ref是用来交换的。

2.Neural Texture Transfer（神经纹理转移）




其中GR表示Gram矩阵，$S^*_l$Sl∗​表示全部LR块对应的最匹配的相似度的评分。$λ_l$λl​就是正则化系数。

3.训练目标函数
重建损失：

感知损失：VGG

对抗损失：WGAN-GP

4 数据集

CUFED5提供不同的相似度等级图片，在CUFED5数据集上训练，在Sun80和Urban100数据集上测试。

5 实验结果

1.定量分析（PSNR/SSIM）


SRNTT-$l_2$l2​为SRNTT的简化模型仅最小化MSE.
2.通过用户研究进行定性评估

3.消融实验
参考相似度影响：

特征交换层：

纹理损失函数的影响：

6 总结

本文利用了更通用的RefSR问题，其中参考可以是任意图像。提出了SRNTT，这是一种端到端的网络结构，可以从参考中执行多级自适应纹理传输，以恢复SR图像中更合理的纹理。 进行定量和定性实验以证明SRNTT的有效性和适应性。 此外，构建了一个新的数据集CUFED5以促进RefSR方法的评估。 它还为将来的RefSR研究提供了基准。