GAN与计算机视觉经典论文合集

会议之眼文章解读篇

生成对抗网络（GAN,Generative Adversarial Networks）是最近两年2年很热门的一种无监督算法，它能生成非常逼真的照片和视频。本文主要整理介绍了近两年来GAN模型在计算机视觉领域的经典文章，7篇文章已经上传到了百度网盘，追赶AI潮流的你怎么能错过呢？！

 

BIGGAN

Large scale gan training for high fidelity natural image synthesis

Brock, Andrew, Jeff Donahue, and Karen Simonyan

尽管生成图像技术在建模方面取得了最新进展，但是从复杂的数据集（例如ImageNet）成功生成高分辨率，多样的结果仍然是一个遥不可及的目标。为此，我们以尚未尝试的最大规模数据训练了生成对抗网络，并研究了这种规模所特有的不稳定性。我们发现，对生成器应用正交正则化使其适合于简单的“截断技巧”，从而可以通过减少生成器输入的方差来精确控制样本保真度与变化之间的权衡。我们修改并构建了一个新的模型，该模型在类条件图像合成中设置了新的技术水平。当在ImageNet上以128x128分辨率进行训练时，我们模型（BigGAN）的初始得分（IS）为166.5，Frechet初始距离（FID）为7.4。

 

 

StyleGANA

style-based generator architecture for generative adversarial networks

Karras, Tero, Samuli Laine, and Timo Aila

我们提出了一个可选择的生成架构。新的架构将包括一个自动学习，无监督分类的高水平特征（例如，姿态识别在训练人脸）以及生成图像的随机方差（例如，雀斑，头发），它能够直观地，将特定尺度控制在统一范围内。新的生成器提高了传统分配质量的衡量指标，证明有较好的插补属性，也较好地分开了最新的因素变量。对量化插补质量和分离，我们提出了两个新的，自动方法来应用到任何生成框架。最后，我们介绍一个新的多种类和高质量人脸数据集。

 

CompareGAN

High-fidelity image generationwith fewer labels

Lucic, Mario

传统的 GAN 是一种无监督学习，我们只要源源不断地准备数据就行了。但是如果要像 BigGAN 那样在 ImageNet 上生成高保真度的图像，我们还是需要大量类别信息，标注费时费力。本研究介绍了如何在没有标注或有少量标注数据的情况下生成高保真图像，这大大缩小了条件GAN 与无监督 GAN 的差距。

 

PG-GAN

Progressive growing of gans forimproved quality, stability, and variation

Karras, Tero

我们描述了一种生成对抗网络的新训练方法。关键思想是逐渐增加生成器和鉴别器：从低分辨率开始，我们添加新层，伴随着训练的进行对越来越细的细节建模。这既加快了训练速度，又大大稳定了训练结果，使我们能够产生前所未有的图像质量，例如1024 ^ 2的CelebA图像。我们还提出了一种简单的方法来增加生成图像的变化，并在无人监督的CIFAR10中达到创纪录的初始得分8.80。此外，我们描述了一些实现细节，这些细节对于阻止生成器和鉴别器之间的不健康竞争非常重要。最后，我们提出了一种用于评估GAN结果的新指标作为额外的贡献，包括图像质量和变化。

 

StarGAN

Stargan: Unified generativeadversarial networks for multi-domain image-to-image translation

Choi, Yunjey

现有的GAN模型为了实现在k个不同的风格域上进行迁移，需要构建k∗(k−1)k∗(k−1)个生成器，并且还不能跨数据集训练（标注不能复用）。StarGAN正是为了解决跨多个域、多个数据集的训练而提出的。在StarGAN中，并不使用传统的fixed translation，而是将域信息和图片一起输入进行训练，并在域标签中加入mask vector，便于不同的训练集进行联合训练。本文贡献在于：

• 提出StarGAN模型，使用单组GAN模型进行跨domain和跨数据集的训练
• 展示了mask vector技术来实现上述的训练过程
• 训练了角色的面部属性和面部表情特征的各种图片

 

 

AttGAN

Attgan: Facial attribute editingby only changing what you want

He, Zhenliang

这是与starGANZ几乎同时间发表的另一篇人脸属性多领域迁移的论文。使用了统一的框架进行人脸属性的迁移。
面部属性编辑旨在操纵面部图像的单个或多个属性，即在保留其他细节的同时生成具有所需属性的新面部。最近，生成对抗网络（GAN）和编码器-解码器体系结构通常被合并来处理此任务，并获得可喜的结果。基于编码器-解码器体系结构，通过对以所需属性为条件的给定面部的潜在表示进行解码来实现面部属性编辑。
一些现有方法试图建立与属性无关的潜在表示，以进行进一步的属性编辑。但是，这种对潜在表示的独立于属性的约束是过分的，因为它限制了潜在表示的容量，并且可能导致信息丢失，从而导致生成过程过于平滑和失真。在此工作中，我们没有在潜在表示上施加约束，而是将属性分类约束应用于生成的图像，以保证所需属性的正确修改，即“修改所需内容”。同时，引入了重构学习来保留属性排除的细节，换句话说，就是“仅更改您想要的内容”。

 

 

此外，对抗学习用于视觉逼真的编辑。这三个组件相互配合，形成了用于高质量面部属性编辑（称为AttGAN）的有效框架。此外，我们的方法也直接适用于属性强度控制，并且可以自然地扩展为属性样式操作。

STGAN
STGAN: A unified selective transfernetwork for arbitrary image attribute editing

Liu, Ming

本文是CVPR2019的一篇文章，讲的是如何利用GAN网络生成人面部不同属性的图像。一般而言，任意属性编辑可以通过合并编码器-解码器和生成对抗网络来解决。但是，编解码器中的瓶颈层通常会导致模糊和低质量的编辑结果。并且添加跳跃连接以降低属性操纵能力为代价提高了图像质量。此外，现有方法利用目标属性矢量来将灵活的翻译引导到期望的目标域。

在这项工作中，我们建议从选择性转移的角度解决这些问题。考虑到特定的编辑任务当然仅与更改的属性有关，而不是与所有目标属性有关，因此我们的模型有选择地将目标和源属性向量之间的差异作为输入。此外，选择性传输单元与编码器-解码器结合在一起，可以自适应地选择和修改编码器功能，以增强属性编辑。实验表明，我们的方法（即状态的最艺术在任意的面部属性的编辑和翻译季节，STGAN）同时提高属性操作精度以及感知质量，并且执行针对有利。