各种GAN

1. 生成对抗网络GAN用于进行创作,可以应用到任何类型的数据。

2. 深度卷积生成对抗网络DCGAN,在GAN的基础上增加深度卷积网络结构,专门生产图像样本。但是却无法确切控制新样本的类型。下图为用DCGAN模型生成MNIST图像:

各种GAN

下图为DCGAN模型生成动漫头像:

各种GAN

3. 条件生成对抗网络cGAN,为生成器和判别器都额外加入了一个条件,这个条件实际是希望生成的标签。

4. pix2pix模型是一种特殊的cGAN,相比于cGAN,缺少一个噪声输入。应用类似于图像翻译,要求训练样本必须是”严格成对“的。可以体现在很多方面,比如说:

(1)条件为标注数据,标注数据集的外观,生成对应的“真实图像”。下图为将建筑标注图像转换为照片:

各种GAN

(2)条件为灰度图像,生成对应的彩色图像,下图为对食物灰度图像自动上色(从左至右依次为灰度图、自动上色的图像、真实图像):

各种GAN

(3)条件为模糊图像,生成对应的高分辨率图像,下图为实现图像的超分辨率(从左至右依次为是模糊图像、超分辨率生成的图像、原图):

各种GAN

 

5. cycleGAN提出了“循环一致性损失”,将X空间的图片转换到Y空间后,应该还可以转换回来,不必使用成对样本也可以进行“图像翻译”。生成效果如下图所示(从左至右依次为原始的苹果图像、苹果转换成橘子的图像、将橘子再次进行还原的图像):

                                          各种GAN各种GAN各种GAN

6. GauGAN:提出了一种空间自适应标准化方法(SPADE模块),在给定输入语义布局的情况下,实现了一种简单有效的逼真图像合成层。相比于传统的批标准化方法,会洗去大量的原始语义信息而言,本论文提出的方法,是从语义分割图中学到的仿射层,可以更好地保留语义信息,因此该方法在视觉保真度和与输入布局的对齐方面具有优势。同时,该模型允许用户控制合成图像的语义和风格。从左至右依次为label、生成图像、真实图像:

 

                                       各种GAN各种GAN