论文阅读：Syn2Real Transfer Learning for Image Deraining using Gaussian Processes

写在最前面： 因为疫情的原因，迟迟不能开学。在家里虽然也在看论文，但之前有别的事情在做，但是没有坚持继续写博客，现在继续拾起来。把之前看的几篇比较有意思的论文做个总结，在我后面需要用的时候也是个参考。
不能打败你的，都将使你更强大。

2020CVPR：高斯过程+半监督学习+迁移学习

这篇文章是2020CVPR的一篇文章，主要提出了一种基于高斯过程的半监督学习方法。

论文地址： https://arxiv.org/abs/2006.05580
代码地址：https://github.com/rajeevyasarla/Syn2Real
主要参考论文：2019CVPR：Semi-supervised transfer learning for image rain removal.

现有方法所存缺陷：

• 只能在有标注的数据集上进行训练
• 同时获取真实的有雨和无雨图像存在困难
• 导致在合成数据上训练的模型在真实场景中泛化能力较差

2019CVPR-SIRR方法存在问题：

1、作者假设可以使用GMM对雨的多模态特性进行建模，但是只有真正的雨的残
差被用来计算GMM参数时，才是正确的。但如果初始迭代中对真实未标记图像训
练得到的GMM参数不太准确，在后期使用相同的模型预测残差可能性能不佳。
2、文中作者使用了KL散度来约束训练，目的是使合成雨的分布更接近真实雨的
分布。但还是如果预测的实际雨纹残差在早期阶段预测不准确，一味的减少两种
分布的差异并不合适。
3、使用GMM对雨纹残差建模需要选择混合成分的数目。

文章主要创新之处：

• 1、使用一种非参数方法来生成对未标记图像数据的监督，在训练中整合进未标记的真
实图像，提出了一种半监督学习方法。
• 2、首先使用高斯过程对网络中的中间潜在空间进行建模，然后使用高斯过程对未
标记数据生成伪GT，并使用伪GT对未标记数据进行监督。

伪标记方法

对于有标记数据的训练，通常我们使用有监督的损失函数像均方误差、交叉熵等来约束训练。
对于无标记数据的训练，则是通过执行一致正则化、对抗损失及伪标记方法来约束训练。
SIRR是使用GMM高斯混合模型进行建模得到一组参数，本文则是使用了伪标记方法。

伪标记方法主要是基于假设:
• 未标记的图像，当投影到潜在空间时，可以表示为标记数据特征的加权组合，其
中的权重由核函数确定。
• 这些权重表示标记数据点用于表示未标记数据点的不确定性。
• 因此，最小化未标记数据投影与伪GT之间的误差可以减少方差，从而使网络权值
自动适应未标记数据的域。

高斯过程GP

网络结构

整体结构是一个U-Net形状的EncoderDecoder，里面具体的小块采用了Res2Block。
大致思想是：首先是利用高斯过程对有标记的数据进行建模，得到一个伪GT，用于监督无标记数据的训练。

损失函数

损失函数这里，伪标记方法部分的损失函数有点复杂，没看太懂，后面需要再看一下。

实验部分

最后
再读一遍。