StyleFlow: 一张图片,属性解耦的完美72变
向大家介绍一篇新出来的使用GAN进行可控图像生成的新论文:
StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows
作者 | Rameen Abdal, Peihao Zhu, Niloy Mitra, Peter Wonka
单位 | 阿卜杜拉国王科技大学;UCL , Adobe Research
论文 | https://arxiv.org/abs/2008.02401
主页 | https://rameenabdal.github.io/StyleFlow/
目前图像生成和编辑技术正趋于成熟。当前可以通过无条件的GAN(如StyleGAN)生成高质量、多样化和逼真的图像。
但在某一个属性上编辑图像仍存在困难,由于GAN隐空间(latent space)的属性耦合,在某个属性上图像编辑往往带来了不想要的其他属性的改变。
比如给人脸加上胡子,并不希望人脸其他区域也被改变,但以往的模型往往难以做到这一点。
StyleFlow 力图实现各属性解耦的图像编辑,实现的效果:
给人脸图像加各种属性,就像做加法一样,不用担心出现不想要的副作用。
本文作者在纠缠隐空间(latent space)的条件下,研究了属性条件采样和属性控制编辑两个子问题。提出一个简单、有效、鲁棒的解决方法:StyleFlow。
使用StyleGAN的人脸和汽车隐空间对所提出的方法进行评估,并在真实照片和StyleGAN生成的图像上演示按各种属性的细粒度分解编辑,例如,对于人脸,改变了相机姿势、照明变化、表情、面部毛发、性别和年龄。展示了在合成的以及真实图像上的编辑结果。
最后在人脸车车辆的编辑任务上,通过大量的定性和定量比较,该文认为你StyleFlow比其它工作的更好。
让我们来看一下视频效果:
目前代码还没开源,后续CV君会对这篇论文做详细解读。
备注:GAN
GAN交流群
扫码私信备注,拉你入群。
OpenCV中文网
微信号 : iopencv
QQ群:805388940
微博/知乎:@我爱计算机视觉
网站:www.52cv.net
在看,让更多人看到