invertible Conditional GANs for image editing

github代码为https://github.com/Guim3/IcGAN

通常GAN的生成网络输入为一个噪声向量z,文献的创新点是,利用一个encoder网络,对输入图像提取得到一个特征向量z,将特征向量z,以及需要转换的目标attribute向量y串联输入生成网络,得到生成图像,网络结构如下,

如上图所示,包括连个encoder网络,分别为Ez,Ey,Ez用于将输入图像编码为特征向量z,也就是特征向量z提取了图像的基本特征.Ey用于将输入图像编码为特征向量y,特征向量y包括图像的性别,是否为black hair,brown hair,是否make-up,sungalsses等信息,y′为我们需要生成的目标图像的特征向量,将特征向量y的对于位置的特征值转换,得到目标特征向量y′,将z与y′串联,输入生成网络,则可以生成含有目标特征的图像.

encoder网络参数如下,

之后将生成图像,目标图像分别输入判别网络,生成网络,判别网络结构图如下,

生成,判别网络参数为,

生成效果,