Deep Photo Style Transfer 论文阅读笔记

介绍

在Deep Photo Style Transfer这篇论文之前，基于深度学习的风格迁移的效果都是绘画风，即使输入是写实的照片，输出也会有一些失真的畸变。这篇论文引入了一种把风格迁移限制为局部区域色彩空间上仿射变换的约束条件，并把这种约束条件表示为一个完全可微的参数项，进而消除了输出图像的畸变。该论文的实现基于 Neural Style transfer by Gatys 。

核心贡献

内容图的结构保留

风格迁移中有一个矛盾是我们希望能够有强烈的局部效果，同时又保持内容图的结构不带来几何形变。如我们希望图1中的窗户打开灯光，却不希望边缘扭曲。之前的一些算法可以解决特定图像的扭曲问题，该论文提出的把风格迁移限制在色彩空间上的仿射变换上的方法则是一种通用的解决方案。

在语义层级上精准迁移风格，使迁移后的图像真实合理

以往的算法常会遇到一个问题，把风格迁移到一些不合理的对象上，如把草地的绿色迁移给蓝天。该论文通过使用语义分割图做指导，把风格迁移局限在相同语义的区域上避免了这个问题。

分析

基于Neural Style transfer by Gatys

Neural Style transfer by Gatys中损失函数由内容损失lc和风格损失ls组成。

Deep Photo Style Transfer 损失函数

Deep Photo Style Transfer的损失函数基于Neural Style transfer by Gatys中的损失函数做了一定改进。其中内容损失lc不变，风格损失ls升级为考虑了语义分割的ls+，在此之外还加入了图像写实正则化m。

在损失函数中引入了图像写实正则化

作者没有将图像写实正则化作为约束直接加在输出图像上，而是约束了加在输入图像上的变换。

风格损失引入语义分割

局限

需要高精度的语义分割图

如果语义分割精度不够，可能会出现一些不是我们期望的风格迁移，如人的边缘如果分割不精确，把人体的一部分分割成了背景，那么这一部分可能会加上背景的特征。

速度慢

使用K80 gpu 处理520*398的内容图和520*311的参考图，2000个迭代需要15分钟。

应用

照片之间进行风格迁移，对照片做时间变换处理等。