20200811--计算机视觉&GAN--论文推荐
1.Bhattacharjee, Deblina, et al. "DUNIT: Detection-Based Unsupervised Image-to-Image Translation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
主要内容：大多数图像转换方法将图像视为一个整体，这使得它们生成的效果内容丰富，却不够逼真现实。本文介绍了一种基于检测的无监督图像到图像转换（DUNIT）方法，该方法在转换过程中明确考虑了对象实例。方法为全局图像和实例分别提取各自表示，然后再将它们融合为一个通用的表示，从中生成翻译后的图像。这允许我们保留对象实例的详细内容，同时仍然对我们的目标是生成一个单一一致场景的图像这一事实进行建模。我们引入实例一致性损失来保持各参数之间的一致性。此外，通过将检测器合并到我们的体系结构中，我们仍然可以在测试时利用对象实例。
•我们改进了无监督I2I转换通过引入了一种基于检测的转换方法，该方法在分别处理对象实例和全局图像的同时，融合它们的表示，从而得到一幅统一的图像。
•我们引入了实例一致性loss，该方法进一步利用了训练过程中的实例，建立了原始图像和转换图像检测一致的直观模型。
•通过将检测器合并到架构中，我们不仅在训练期间而且在测试时明确地对实例进行推理。
•在训练过程中，我们只需要在单一领域中获取真实检测。因此，我们的方法也可以看作是对目标检测进行无监督域自适应。
网络结构：DUNIT总体架构。
右边的感知实例的I2I（Image-to-Image）转换块是X域中的夜晚图像和相应的转换后的白天图像之间发生的操作的精确副本。同样，全局I2I平移块也反映了Y域中的白天图像与其平移后的夜晚图像之间的操作。蓝色背景将我们的贡献与构建的DRIT主干分开。粉色的线代表定义域X，黑色的线代表定义域Y。全局层次的残差块在X域和Y域有不同的特征，因此颜色编码不同。全局特征域X显示深蓝色，区域Y显示灰色，loss显示绿色，全局操作是光橙色，实例特征域X是黄色，检测子网是淡蓝色和合并后的特性是暗橙色。
- Chen, Runfa, et al. "Reusing Discriminators for Encoding: Towards Unsupervised Image-to-Image Translation." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
主要内容：无监督图像到图像的转换是计算机视觉的核心问题。训练结束后，大多数当前的图像转换框架将丢弃判别器。本文通过重复使用判别器来对目标域的图像进行编码，提出NICE-GAN。与以前的方法相比，方法具有两个好处：首先，由于不需要独立的编码组件，因此结构更紧凑；其次，这种插入式编码器直接受对抗损失训练，如果应用了多尺度判别器，则其信息量更大，训练更有效。
•我们是第一个重用判别器来编码非监督图像到图像转换的人。通过这样的重用，可以派生出更紧凑、更有效的体系结构，称为非独立组件编码GAN (NICE-GAN)。
•考虑到典型训练过程中判别器的重用会导致不稳定，本文开发了一种简单有效的解耦训练范式。
•在几个流行的基准上进行的广泛实验评估显示，所提出的方法优于各种先进的对应方法。此外，还进行了全面研究，以验证各组件的有效性
网络结构：NICE-GAN图形流程图的说明。在这里，我们只显示从X到Y(从狗到猫)的一个转换流。注意，我们应用了一种解耦的训练方式:当最小化对抗损失、重建损失和周期损失时编码器Ey是固定的，当最大化对抗损失时，它是训练的。