Deep Back-Projection Networks For Super-Resolution论文笔记

原文网页:
http://openaccess.thecvf.com/content_cvpr_2018/papers/Haris_Deep_Back-Projection_Networks_CVPR_2018_paper.pdf

代码:
https://github.com/alterzero/DBPN-Pytorch

1.动机

前馈网络虽然能很好地学习低分辨输入的表征和到高分辨输出之间的非线性映射,但是并不能充分地解决低分辨输入和高分辨输出的相互依赖性。

2. 提出点

(1)提出了 Deep back projection networks(DBPN)深度后投影网络,利用迭代地上下采样,能够为每个阶段的投影误差提供了误差反馈机制,这里的投影误差用来描述和约束浅层的特征。
(2)提出了相互连接的上下采样阶段。能够利用上采样层生成HR的特征,还能通过下采样层映射回LR空间。这里的上下采样层表示了LR和HR之间的联系
(3)通过密集连接每个上采样和下采样阶段来提高网络的准确率。

3. 论文方法

Deep Back-Projection Networks For Super-Resolution论文笔记分别为HR和LR,本文所提出的DBPN结构是一个投影单元,不仅可以将LR的特征映射到HR中,也可以将HR映射回LR中。

3.1 投影单元

Deep Back-Projection Networks For Super-Resolution论文笔记
上投影单元可以表示为
Deep Back-Projection Networks For Super-Resolution论文笔记
Deep Back-Projection Networks For Super-Resolution论文笔记

该投影单元可以理解为一个自纠单元,将投影误差送到采样层,通过交替地传回后投影误差来改变方法。

3.2 密集投影单元

Deep Back-Projection Networks For Super-Resolution论文笔记
上图中的密集投影单元中,每个单元的输入都是前面所有单元的输出的连接,即把前面所有单元的输出连接在一起送入下一个单元中作为输入,然后用1X1卷积来把他们融合在一起。上图中Deep Back-Projection Networks For Super-Resolution论文笔记表示密集上投影和下投影单元的输入。

3.3 网络结构

Deep Back-Projection Networks For Super-Resolution论文笔记
总体的网络架构有三部分:浅层特征提取,后投影阶段,(包含一系列投影单元),重建部分,对于一个含有T阶段的网络,有T个上投影单元,和T-1个下投影单元。

4.实验分析

4.1 数据库:

DIV2K

4.2 训练参数设置

参数初始化:Xavier initializer
**函数:PReLU
损失函数:L1 Loss
优化器:adam
学习速率:之后学习速率每500000个迭代减少十分之一
动量:0.9

4.3 模型分析

4.3.1 循环次数分析

Deep Back-Projection Networks For Super-Resolution论文笔记Deep Back-Projection Networks For Super-Resolution论文笔记
其中S代表T=2(循环次数),M代表T=4,L代表T=6,可以看出,对于X4的超分辨结果,S表现结果比其他的方法都好。对于X8的超分辨结果,S\M\L这三种网络表现的都比其他方法好,说明该网络在大尺度的放大因子上具有显著的作用和效果。但是对于M和L这两种网络,效果差别并不大。

4.3.2 参数的数量

Deep Back-Projection Networks For Super-Resolution论文笔记
Deep Back-Projection Networks For Super-Resolution论文笔记
该网络在性能和参数数量之间有一个很好的权衡。DBPN-SS是S网络的参数更少的一个版本,虽然他在该网络其他版本中表现最差,但是也比除了EDSR之外的其他方法表现好。对于D-DBPN和EDSR性能差不多,但是D-DBPN的参数却比EDSR少得多。

4.3.3深度连接

Deep Back-Projection Networks For Super-Resolution论文笔记
每个投影单元都被用来分配重构步骤,这是通过重建那些HR组件中的不同的细节的特征图,该网络随着t增加,特征图也包含着更多的细节

4.3.4 密集连接

Deep Back-Projection Networks For Super-Resolution论文笔记
该网络对于不管是X4还是X8,密集连接的网络D-DBPN都能取得比没有密集连接的网络DBPN较好的效果。证明了密集连接的有效性。

4.4 与其他方法相比较

Deep Back-Projection Networks For Super-Resolution论文笔记
除了EDSR,本文提出的网络比其他方法在PNSR和SSIM上表现都要好很多,不论放大因子是X2,X4,X8。
Deep Back-Projection Networks For Super-Resolution论文笔记

虽然EDSR效果和本文提出的网络差不多,但是EDSR倾向于产生比groudtruth还要强的边缘,所以有时候会产生错误的图片。