AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks

这是CVPR2018一篇关于文本到图像合成的文章,paper链接https://arxiv.org/abs/1711.10485,code已经released出来了https://github.com/taoxugit/AttnGAN,作者的homepage https://sites.google.com/view/taoxu

文章要做的事情(Text to Image Synthesis):
输入:text      输出:image
文章中show出来的example如下所示。
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks
与state-of-the-art方法对比的实验结果如下所示。
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks
method
文章的framework如下所示。
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks
这篇文章的主要思想是将生成256x256图像的文图转换成先生成64x64,然后再生成128x128,最后再生成256x256的问题(与stackGAN类似,分多步),从低分辨率的图像生成高分别率图像的过程中,分别利用低分辨率的图片信息和word-context产生下一状态的图片,为了在让最后生成的256x256大小的图像与文本的语义一致,作者应用了文本图像检索的方法将生成的图像与原始的文本之间度量他们的相似性(分别从word层面和sentence层面)。