Visual Attribute Transfer through Deep Image Analogy论文阅读笔记
Visual Attribute Transfer through Deep Image Analogy论文阅读笔记
介绍
论文提出了一种新的两张图片直接进行视觉属性迁移的方法。该方法针对的是两张具有不同内容却有相似语义的图像,比如两张图的主体是同一种类别的物体,并利用高层抽象特征建立起了两张图的内容的语义对应关系。
这种图像视觉属性迁移方法可以在结构上基本保留两张图中内容图的内容及结构,同时融入参考图的视觉属性。和之前的算法不同的是,这种方法甚至适用于输入是真实照片,输出也希望是真实照片的任务,即可以达到像素级别的迁移。
核心贡献
提出了一种深度图像类比的方法deep image analogy
该方法在不同的图像领域(如style/texture transfer, color/style swap, sketch/painting to photo,and time lapse)的视觉属性迁移(visual attribute transfer)任务中均有不错的表现,此前的多数风格迁移方法多局限于特定领域。
把PatchMatch和reconstruction从图像领域扩展到了特征(feature)领域
这可以有效的指导语义级的视觉属性迁移
分析
关于算法实现的个人理解:
输入是两张图
输出有两类:
映射关系:
图像:内容基于A同时风格上参考了
为了描述简单,下面只说得到
在重建
论文中设置了一个权重参数
这里的
以上就是整个算法的大致思路,具体细节(如数学公式和一些技巧)可以参考论文原文和代码实现。
需要注意的是,在photo2photo的应用场景下,在上述流程后还加入了一个refine的环节,将
局限
对语义上不相干的图不适用
如人像图和乡村风景图之间做迁移。
对于几何形状有较大差异的图不适用
包括形状、尺寸、旋转,如一个三角形的小蛋糕和一个圆形的大蛋糕。