论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》

这是一篇风格迁移领域比较出色的文章,他的亮点在于没有采用以前的成对图像进行训练学习映射之后才能进行的风格迁移,而是使用了GAN网络进行一个图像域到另一个图像域的学习,这样就无需大量成对图像的学习。同时为了保证图像映射的正确性,GAN网络采用了循环结构,即从X->Y迁移之后,还要进行Y->X的迁移,在循环训练的过程中完成风格的迁移任务。

1.Introduction

风格迁移任务其实可以更广泛地描述为图像到图像转换,将一个图像从给定场景的一种表示形式x转换为另一种表示形式y,例如,灰度到颜色,图像到语义标签等等,在很多任务中,可能并没有充足的成对图像提供来进行学习,
因此,本文提出了一种无需成对输入-输出示例就能学会在域之间进行转换的算法。假设图像域之间存在某种潜在的关系,虽然缺乏成对样本的监督,但我们可以利用集合层面的监督:给定X域中的一组图像和Y域中的另一组图像,得到一个映射G:X->Y,从而实现X到Y图像域的转换,但这样可能会存一些问题,给定的多个X,我们可能得到相同的对应的Y域图像,而无法一一对应,即对于不同的X我们可能得到相同的映射G,所以为了保证映射的独立性,引入了“循环一致性”,即由映射G可以实现X到Y,再添加一个映射F:Y->X从而实现映射的唯一性。
论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》

2.Loss

论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》标准GAN网络损失,
论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》
循环一致性损失,经生成器生成的图像分别与原图像取1范数
论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》

总体损失等于映射G,F的GAN损失加上循环一致性损失
论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》
在计算时,使用最小二乘法代替对数运算,这种损失在训练中表现得更稳定,并产生更高质量的结果

3.Result

论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》
论文阅读《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》