基于实例的妆容迁移（Example-Based Cosmetic Transfer）

摘要

妆容迁移

• 所需条件：化妆前后对比图像（实例），$A$A和$A^{\ast}$A∗；

• 输入：图像（目标）$B$B

• 输出：妆容迁移图像$B^{\ast}$B∗

参考文献：Tong, D. , Tang, C. K. , Brown, M. S. , Xu, Y. Q. (2007). Example-Based Cosmetic Transfer. IEEE Computer Society.

1 引言

妆容迁移（transfer cosmetic style）：

（1）实例面部皮肤特征，如雀斑、痣和瑕疵等，不应被迁移；
（2）目标面部固有皮肤特征应保留。

实现方法：

（1）计算化妆前后色彩与光照变化；
（2）对实例与目标面部皮肤纹理和肤色差异进行调整；
（3）将妆容迁移到目标面部。

2 相关工作

3 妆容迁移

步骤：
（1）预处理
（2）妆容映射
（3）外观矫正
（4）眼部迁移

3.1 预处理

所需条件：

实例图像妆前$A$A、妆后$A^{\ast}和$A∗和目标图像$B$B，并确保$A$A、$A^{\ast}$A∗、$B$B的光照条件和姿态相似。

预处理步骤：

（1）去除眉毛和睫毛；
（2）用合成的纹理填充去除眉毛和睫毛产生孔洞；
（3）提取固有皮肤特征；
（4）将面部几何形状变形成标准面部。

眼睛

在妆容迁移前，首先用贝叶斯扣图（Bayesian matting）将眉毛和睫毛分离：

（1）将背景、前景和不确定区域粗略标记出来，构建三元图（tri-map），不确定区域用贝叶斯扣图；

（2）输出为蒙板$\alpha$α，表示眉毛和睫毛在输入图像$B$B中的选区。

修补孔洞

对从原始图像中分离眉毛和睫毛后产生的孔洞进行修补，修补方式包括图像修复（image inpainting）和纹理合成（texture synthesis）。

皮肤

需要将固有皮肤特征（如雀斑、痣或瑕疵）从实例面部图像$A$A和$A^{\ast}$A∗中去除。独立成分分析（independent component analysis，ICA）

标准面部变形

在图像预处理开始前，将所有图像面部变形为标准面部。

3.2 妆容映射

妆容映射（cosmetic map），$C = \left\{ c_p \right\}$C={cp​}

$c_p = a^{\ast}_p / a_p, \quad b^{\ast}_p = c_p b_p$cp​=ap∗​/ap​,bp∗​=cp​bp​

在各个像素点$p$p上，色彩混合表示式为：

$b^{\ast}_p = b_p \left( \gamma (c_p - 1) + 1 \right)$bp∗​=bp​(γ(cp​−1)+1)

$c_p \in C$cp​∈C，$b_p \in B$bp​∈B。

3.3 外观修正

色彩迁移只考虑色彩和反射的变化，并没有获取由化妆引起的细微几何变化（subtle geometry change）而导致的外观差异（difference in appearance）。

• 外观修正（appearance correction）

对实例妆容图像求拉普拉斯二阶导数，并将二阶信息映射到输出图像上。

假设：由局部几何变化引起的外观变化可通过拉普拉斯算子（Laplacian operator）$\Delta (\cdot)$Δ(⋅)获取，该算子用于计算某像素与其相邻像素的差异。

在该假设下，由妆容引起的几何外观变化可通过混合各个像素点$p$p的$a^{\ast}_p$ap∗​和$b_p$bp​近似表示，即局部拉普拉斯二阶导数估计为：

$\Delta b^{\ast}_p = \Delta \left( \beta b_p + (1 - \beta) a^{\ast}_p \right)$Δbp∗​=Δ(βbp​+(1−β)ap∗​)

在给定$\beta$β后，等式右端为确定值，此时需要修改$b^{\ast}_p$bp∗​以满足上式对$\Delta b^{\ast}_p$Δbp∗​的约束。该约束可通过高斯-赛德尔（Gauss-Seidel）迭代求解。

3.4 眼睛迁移

睫毛和眉毛的浓妆效果需要更精细的处理，包括毛发的长度、颜色和密度。

本文利用提取的眉毛和睫毛的蒙板$\alpha$α，将图像$B$B的眉毛和睫毛选区叠加到$B^{\ast}$B∗上，实现眉毛和睫毛的转移。

$b^{\ast}_p = \alpha b_p + (1 - \alpha) b^{\ast}_p$bp∗​=αbp​+(1−α)bp∗​

4 结果和应用

保留毛发的颜色和密度

风格迁移与构图

5 讨论及局限

本文假设妆容映射是乘性的，即图像$B$B妆前肤色会影响妆后肤色。

在极端浓妆情况下，比如京剧脸谱，妆容迁移表达示修改为：

$b^{\ast}_p = \left( (1 - \zeta) a^{\ast}_p / a_p + \zeta \right) b_p$bp∗​=((1−ζ)ap∗​/ap​+ζ)bp​

其中$\zeta \in [0, 1]$ζ∈[0,1]表示妆容的覆盖强度（covering strength）。对于油彩妆容，$\zeta = 1$ζ=1；$\zeta \lt 1$ζ<1表示妆容变淡。