Controllable Person Image Synthesis with Attribute-Decomposed GAN（CVPR20）

3. Method Description

framework中涉及到pose $P\in\mathbb{R}^{18\times H\times W}$P∈R18×H×W表示为18通道的heatmap

3.1. Generator

Generator的输入为source person image $I_s$Is​和target pose $P_t$Pt​，输出为generated image $I_g$Ig​

一个常见的做法是将$I_s$Is​和$P_t$Pt​拼接起来送入生成器
本文将$I_s$Is​和$P_t$Pt​编码为latent code，分别叫做pose encoding和decomposed component encoding

3.1.1 Pose encoding

如Fig.2上方所示，target pose $P_t$Pt​输入pose encoder（是一个2层down-sampling convolutional layers结构），得到pose code $C_{pose}$Cpose​

3.1.2 Decomposed component encoding（DCE）

对source person image $I_s$Is​提取semantic map $S$S，将$S$S表示为$K$K通道的heatmap $M\in\mathbb{R}^{K\times H\times W}$M∈RK×H×W，$K$K为human parser的分割类别（实验中$K=8$K=8，包括background, hair, face, upper clothes, pants, skirt, arm and leg），每一个通道是一个binary mask $M_i\in\mathbb{R}^{H\times W}$Mi​∈RH×W，与$I_s$Is​进行点乘，就得到了decomposed person image，即通过分割mask完成了source image每一个component的分解
$I_s^i=I_s\odot M_i \qquad(1)$Isi​=Is​⊙Mi​(1)
然后将每一个$I_s^i$Isi​送入texture encoder $T_{enc}$Tenc​，得到style code $C_{sty}^i$Cstyi​
$C_{sty}^i=T_{enc}\left ( I_s^i \right ) \qquad(2)$Cstyi​=Tenc​(Isi​)(2)
将style code $C_{sty}^i$Cstyi​拼接到一起，得到full style code $C_{sty}$Csty​，见Fig.2中的$\otimes$⊗操作

In contrast to the common solution that directly encodes the entire source person image, this intuitive DCE module decomposes the source person into multiple components and recombines their latent codes to construct the full style code.

仔细想想，DCE的做法其实是等价于local patch的做法的，都是分离出不同的部分，单独进行处理

作者认为DCE有2点好处

1. 能加速模型收敛
2. 这是一种无监督的attribute separation方式，semantic map是human parser白送的，不需要任何annotation
   
   下面介绍texture encoder的结构，如Fig.3所示，texture encoder其实包含了2个encoder，Learnable Encoder和VGG Encoder（pretrained on the COCO dataset），这种双Encoder的方式称为global texture encoding（GTE）

Fig.4展示了DCE和GTE的效果

3.1.3 Texture style transfer

Texture style transfer的目标是将source image的texture迁移到target pose上，是联系style code和pose code的桥梁

transfer network级联了若干个style block，内部细节见Fig.2黄色框

对于第$t$t个style block，输入是前一个feature map $F_{t-1}$Ft−1​和full style code $C_{sty}$Csty​，通过残差的方式得到输出的feature map $F_t$Ft​
$F_t=\phi_t\left ( F_{t-1}, A \right ) + F_{t-1} \qquad(3)$Ft​=ϕt​(Ft−1​,A)+Ft−1​(3)

令$F_0=C_{pose}$F0​=Cpose​，总共设置8个style block

Fig.2中的$A$A表示affine transform，输出scale $\mu$μ和shift $\sigma$σ用于执行AdaIN
Fig.2中的方框Fusion表示fusion module，包含3个fully connected layer，前两个layer用于select the desired features via linear recombination，最后一个layer用于维度变换

3.1.4 Person image reconstruction

将最后一个style block的输出送入decoder，得到生成结果$I_g$Ig​

3.2. Discriminators

参考文献[46]，设置2个判别器$D_p$Dp​和$D_t$Dt​，$D_p$Dp​用于使$I_g$Ig​具备target pose $P_t$Pt​，$D_t$Dt​用于使$I_g$Ig​的texture与$I_s$Is​相似

对于$D_p$Dp​，假样本定义为$\left ( P_t, I_g \right )$(Pt​,Ig​)，真样本定义为$\left ( P_t, I_t \right )$(Pt​,It​)
注：数据集的特点是同一个人穿某件衣服，摆出不同pose，所以$I_t$It​其实是ground-truth

3.3. Training