StyleFlow: 一张图片,属性解耦的完美72变

StyleFlow: 一张图片,属性解耦的完美72变

向大家介绍一篇新出来的使用GAN进行可控图像生成的新论文:

StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows

StyleFlow: 一张图片,属性解耦的完美72变

作者 | Rameen Abdal, Peihao Zhu, Niloy Mitra, Peter Wonka

单位 | 阿卜杜拉国王科技大学;UCL , Adobe Research

论文 | https://arxiv.org/abs/2008.02401

主页 | https://rameenabdal.github.io/StyleFlow/

目前图像生成和编辑技术正趋于成熟。当前可以通过无条件的GAN(如StyleGAN)生成高质量、多样化和逼真的图像。

但在某一个属性上编辑图像仍存在困难,由于GAN隐空间(latent space)的属性耦合,在某个属性上图像编辑往往带来了不想要的其他属性的改变。

比如给人脸加上胡子,并不希望人脸其他区域也被改变,但以往的模型往往难以做到这一点。

StyleFlow 力图实现各属性解耦的图像编辑,实现的效果:

StyleFlow: 一张图片,属性解耦的完美72变

给人脸图像加各种属性,就像做加法一样,不用担心出现不想要的副作用。

本文作者在纠缠隐空间(latent space)的条件下,研究了属性条件采样和属性控制编辑两个子问题。提出一个简单、有效、鲁棒的解决方法:StyleFlow。

StyleFlow: 一张图片,属性解耦的完美72变

使用StyleGAN的人脸和汽车隐空间对所提出的方法进行评估,并在真实照片和StyleGAN生成的图像上演示按各种属性的细粒度分解编辑,例如,对于人脸,改变了相机姿势、照明变化、表情、面部毛发、性别和年龄。展示了在合成的以及真实图像上的编辑结果。

StyleFlow: 一张图片,属性解耦的完美72变

最后在人脸车车辆的编辑任务上,通过大量的定性和定量比较,该文认为你StyleFlow比其它工作的更好。

StyleFlow: 一张图片,属性解耦的完美72变

 

StyleFlow: 一张图片,属性解耦的完美72变

让我们来看一下视频效果:

目前代码还没开源,后续CV君会对这篇论文做详细解读。

StyleFlow: 一张图片,属性解耦的完美72变

备注:GAN

StyleFlow: 一张图片,属性解耦的完美72变

GAN交流群

扫码私信备注,拉你入群。

OpenCV中文网

微信号 : iopencv

QQ群:805388940

微博/知乎:@我爱计算机视觉

投稿:[email protected]

网站:www.52cv.net

StyleFlow: 一张图片,属性解耦的完美72变

在看,让更多人看到  StyleFlow: 一张图片,属性解耦的完美72变