PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer（CVPR20）

3. PSGAN

3.1. Formulation

source image domain $X$X, reference image domain $Y$Y

$\left \{ x^n \right \}_{n=1,\cdots,N}, x^n\in X${xn}n=1,⋯,N​,xn∈X，$\left \{ y^m \right \}_{m=1,\cdots,M}, y^m\in Y${ym}m=1,⋯,M​,ym∈Y

domain $X$X上的分布$\mathcal{P}_X$PX​，domain $Y$Y上的分布$\mathcal{P}_Y$PY​

学习目标是一个transfer function $G:\left \{ x, y \right \}\rightarrow\tilde{x}$G:{x,y}→x~，$\tilde{x}$x~包含$y$y的makeup style，以及$x$x的identity

3.2. Framework

Overall

PSGAN的framework如Fig. 2所示

1. Makeup distill network（MDNet），从reference image $y$y中提取makeup style，共有2个成分$\gamma, \beta$γ,β，称为makeup matrices
2. Attentive makeup morphing module（AMM module），因为source image $x$x和reference image $y$y之间的expression和pose差异很大，所以提出AMM module，用于morph the two makeup matrices $\lambda, \beta$λ,β to two new matrices $\lambda', \beta'$λ′,β′, which are adaptive to the source image by considering the similarities between pixels of the source and reference
3. Makeup apply network（MANet），将$\lambda', \beta'$λ′,β′作用在MANet的bottleneck feature map上

Makeup distill network（MDNet）

MDNet的网络结构为StarGAN的encoder-bottleneck部分（bottleneck指residual block），负责提取 the makeup related features（如唇彩、眼影等），这些feature被表示为2个makeup matrices $\gamma, \beta$γ,β

如Fig.2(B)所示，MDNet的输出为feature map $\mathbf{V}_\mathbf{y}\in\mathbb{R}^{C\times H\times W}$Vy​∈RC×H×W，后接2个并列的1x1 conv layer，得到$\gamma\in\mathbb{R}^{1\times H\times W}, \beta\in\mathbb{R}^{1\times H\times W}$γ∈R1×H×W,β∈R1×H×W

Attentive makeup morphing module（AMM module）

因为source image $x$x和reference image $y$y之间的expression和pose差异很大，所以不能直接将$\gamma, \beta$γ,β直接作用在 source image $x$x上
Q：可以认为$\gamma, \beta$γ,β中仍然包含reference image $y$y的expression和pose等信息吗？

AMM module计算一个attentive matrix $A\in\mathbb{R}^{HW\times HW}$A∈RHW×HW to specify how a pixel in the source image $x$x is morphed from the pixels in the reference image $y$y，where $A_{i,j}$Ai,j​ indicates the attentive value between the $i$i-th pixel $x_i$xi​ in image $x$x and the $j$j-th pixel $y_j$yj​ in image $y$y
理解：假设在$x$x中position $i$i是眼角的位置，在$y$y中position $j$j也是眼角的位置，那么$A_{i,j}$Ai,j​的值应该比较大，意味着$\tilde{x}$x~中position $i$i的像素值应该参考$y$y中position $j$j的像素值，才能实现较好的眼影迁移
（有个缺点，既然把$H$H和$W$W乘起来了，一定程度上丢失了spatial information）

引入68个facial landmarks作为anchor points
以鼻尖处的landmark为例，对于$x$x的所有position，计算该position $i$i到鼻尖x的距离（有正有负），得到一个2维vector，于是所有68 landmark就可以得到136维向量，$\mathbf{p}_i\in\mathbb{R}^{136}, i=1,\cdots,H\times W$pi​∈R136,i=1,⋯,H×W，称为relative position features
$\begin{aligned} \mathbf{p}=&[ f(x_i)-f(l_1), f(x_i)-f(l_2),\cdots,f(x_i)-f(l_{68}) \\ &g(x_i)-g(l_1), g(x_i)-g(l_2),\cdots,g(x_i)-g(l_{68}) ] \qquad(1) \end{aligned}$p=​[f(xi​)−f(l1​),f(xi​)−f(l2​),⋯,f(xi​)−f(l68​)g(xi​)−g(l1​),g(xi​)−g(l2​),⋯,g(xi​)−g(l68​)](1)​
where $f(\cdot)$f(⋅) and $g(\cdot)$g(⋅) indicate the coordinates on $x$x and $y$y axes, $l_i$li​ indicates the $i$i-th facial landmark
思考：$\mathbf{p}$p的维度应该是$H\times W\times136$H×W×136吧

既然是landmark，那么必然会存在face size的差异，因此令$\mathbf{p}$p单位化，即$\frac{\mathbf{p}}{\left \| \mathbf{p} \right \|}$∥p∥p​

Moreover, to avoid unreasonable sampling pixels with similar relative positions but different semantics, we also consider the visual similarities between pixels

Fig.2©举了一个例子