1. Motivation

• 人脸图片中只包含很少的相同的结构；
• 不能很好的修复脸部的细节；
• 人脸的对称性不能很好的利用。

2. Approach

2.1 Network architecture

生成器：

FlowNet和 LightNet用于填充只在半边人脸缺失的部分，后面 RecNet用于填充在两边脸都缺失的部分。

FlowNet学习人脸的对称性，基于另一半已知的人脸填充当前的一半人脸。

LightNet学习亮度信息，让 FlowNet补全的部分加上光照，更加接近真实的人脸。

RecNet完成两半人脸都缺失部分的重构。

判别器：

判别器在上图中没有绘制，实际是一个全局判别器和多个局部判别器。

2.2 Loss function

FlowNet：

关键点损失，是一个提供对称信息的函数，比如说原始图片中的左眼，经过函数，对应的就是图像(是沿着轴翻转的图像)中的左眼。我是这样理解上面的损失函数，一个关键点经过两次翻转的结果应该和是一样的，所以本质上是一个表示和对称关系的一个映射。

TV正则项。

LightNet：

光照重构损失。

RecNet：

是解码层的特征，感知对称损失就是要求在两半边脸都缺失的情况下，仍要保持对称性。

重构损失等于MSE损失与感知损失的加权和，感知损失是基于预训练好的神经网络提取的特征。

对抗损失就是GAN的损失函数，全局判别器和多个局部判别器的加权和。

最终损失：

各种损失的加权和。

3. Disscussion

我认为这篇文章的创新点是合理的利用了人脸的对称性，用人脸关键点引导网络去学习人脸的对称性，基于对称性分步完成人脸图像的填充，首先完成半边脸缺失的图像填充（对称加光照），再完成两边脸都缺失的部分填充。

源代码：https://github.com/csxmli2016/SymmFCNet

4. References

【1】Li, Xiaoming, et al. "Learning symmetry consistent deep cnns for face completion." IEEE Transactions on Image Processing 29 (2020): 7641-7655.