PESR论文理解
Perception-Enhanced Image Super-Resolution via Relativistic Generative Adversarial Networks
https://github.com/thangvubk/PESR
问题：
GAN网络训练困难且不稳定
原因：
- 生成器通常在训练时没有考虑到真正的高分辨率图像。
- 在训练过程中，应该重点关注通常难以从低分辨率图像中重建的纹理丰富的高分辨率样本。
- 不经过再训练，现有方法无法实现测试时PSNR和感知质量之间的平衡。现有的方法通常被训练来提高PSNR或感知质量，取决于应用，一个目标可能比另一个更好。
方法：
(1)用相对discriminate，RGAN代替绝对值SGAN，减少GAN训练的时间;
(2)在损失函数中加入总方差损失，一种机制，强调通常具有丰富纹理的难训练样本;
(3)我们提出了一个测试时的质量控制方案，允许用户自适应地强调感知和逼真度之间的关系
(4)GAN对于图片的真实性是十分重要的。选择一个合适的GAN
具体的做法：
用EDSR里面的代替SRGAN
LG：生成器损失
LFRG：focal RGAN loss
LC：内容损失
LTV：总方差损失
32 residual blocks.
损失函数
Focal RGAN Loss.
这个公式显示：生成器损失并不依赖于I_HR。所以在损失函数中要加上高频的HR图像
更改一下：
强调困难的样本和降低简单的样本导致更好的纹理重建。这可以通过最小化聚焦功能，聚焦参数为:
数据集：
训练：DIV2K dataset
测试： Set5 [17], Set14 [16], B100 [45], Urban100 [46], DIV2K validation set [44], and PIRM self-validation set [47].
评价指标：The Fr´echet Inception Distance (FID)
训练的小细节
在整个实验过程中，采用MATLAB imresize函数对缩放因子为4的HR图像进行双次下采样，得到LR图像。我们对所有的图像进行预处理，减去DIV2K数据集的RGB平均值
在训练时，为了提高计算效率，我们将LR和HR图像分别裁剪成大小为48×48和196×194的patch。需要注意的是，我们的生成器网络是完全卷积的;因此，它可以在测试时取任意大小的输入。
Adam optimizer β1 = 0.9 β2 = 0.999, ǫ = 10的-8，Batchsize is set to 16.
先用L1loss进行200000的步骤进行初始化，然后在用总的损失进行优化
.200000步。
学习率：10-4来预训练。510-5来GAN训练。在1.210 5会减半
因此，图像被裁剪成32×32的patch。
测试时的感知失真控制
在一些应用中，如医学成像，合成纹理是不可取的。为了使模型具有鲁棒性和灵活性，我们提出了一个在感知优化模型GP和扭曲优化模型GD之间插入的质量控制方案。分别用全损失函数和L1损失函数对网络进行训练，得到了G循环P模型和G循环D模型。
通过调整参数拟合来控制感知质量度，如下式所示:
结果表明，高感知质量的权重对密集纹理的可视化效果更好，而降低权重对简单纹理的可视化效果更好。我们还将插入的结果与其他结果进行比较，如图6所示。很明显，与其他方法相比，同样的PSNR可以获得更好的感知质量，反之亦然。