SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

https://github.com/run-youngjoo/SC-FEGAN

https://arxiv.org/abs/1902.06838

基于GAN的人脸编辑,效果非常好,应用点非常新颖。

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

总的来说,效果非常好,包括很多细节都能够进行编辑。

就创新点来讲,就是能够想到把笔画和颜色进行结合,然后做一个人脸编辑这个出发点比较有创新。在算法上并没有提出通用的而一些模块等等,除了小改了一下GAN的架构,多加了一些现有的损失,并且做了一些小改。

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

最终要的创新点就是结合了颜色、笔画、mask作为输入,并且很好得实现了操纵。

 在架构上,基于Unet的形式,再加了其他的模块,是的生成更快,更具有细节的结果,个人感觉比较基操SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

然后,这个Discriminator 是基于SN-PatchGAN的,当然架构是自己改的,不过这里面也用到了Gated Convolution。

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

在损失函数方面呢,在Generator 和Discriminator 上的GANloss的优化和《Free-form image inpainting with gated convolution》上很相似,就是做了一些小改,ReLU去掉了。

然后其他方面的优化,就是常用到的:

L1损失:

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

 感知损失:

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

风格损失:

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

TVloss: 

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

 

还有就是DIscriminator 的正则上:

SC-FEGAN: Face Editing Generative Adversarial Network with User’s Sketch and Color

最后效果是非常好的。

总的来看,思路非常新颖,从架构上也做了一些修改,大部分模块都是其他论文提出的。不过他的思路真的很好,值得借鉴!