18.7.12 Pose-Robust Face Recognition via Deep Residual Equivariant Mapping 小感
论文链接：Pose-Robust Face Recognition via Deep Residual Equivariant Mapping
本文主要解决的问题是人脸识别中常见的一个难点：姿态问题。
近些年来，人脸识别问题在深度学习的基础下得到了飞速的发展。但是大部分的人脸识别模型在处理侧脸样本的时候有存在不足。一个最主要的原因是正脸和侧脸样本个数的极度不平衡。同样的，在人脸姿态变化比较多样的时候，本质上是很难学习到一个对应的深度特征。本文假设了在正脸和侧脸之间存在一个固有的映射，因此，正侧脸的差异性可以利用等变映射来嫁接正侧脸的深度特征。所以本文提出了深度残差等变映射模块（DREAM）。利用该模块可以将任意侧脸的特征表示转换到一个典型的姿态下的特征表示进行识别。
人脸识别在正脸和接近正脸的数据集上有着不错的结果，但是如果将人脸放在不受约束的环境下的就不能保证人脸是否在可识别的角度范围。人对于正脸的识别到正侧脸识别的表现仅仅下降了一点点，但是目前大部分的人脸识别方法则会下降10%左右。图1给了某个人脸验证的模型在一个正侧脸数据集伤的实验结果。
图1
从图1中不难看出正侧脸的识别存在的确是一个很大的问题。那么为什么人脸识别在侧脸识别的时候不行呢？原因在于深度学习是数据驱动的，模型的泛化能力一定程度上取决于数据量的大小。对于数据库中分布不均匀的正侧脸个数而言，学习到的深度惹着对于区分正脸数据来说效果明显优于侧脸的识别。由于手机数据集的工作量较大，目前大部分针对姿态多变的情况是利用3D人脸标注，将侧脸转换为正脸进行识别或者利用GAN实现人脸的摆正。但是这样做仍然会存在一些问题：对于大侧脸的情况效果不行，存在遮挡或者非刚性的表情等等。
图2给出了同一个人在不同姿态下的深度特征。本文提出的DREAM模块能够在侧脸加上一个残差部分，并且将其映射到正脸空间。底部的图片展示了侧脸和其映射的正脸的实际重建图片。
图2
对于给定的任意角度的姿态，都可以将其特征加上残差模块，再利用一个映射函数映射到正脸图片上。
DREAM 模块的吸引力在以下方面：
1.易于实现，DREAM 模块是一个简单有效的门控残差分支。它能够通过缝合DREAM模块到基础的网络来集成现有的CNN结构。并且不需要改变面部表示的原始维度，还可以用标准反向传播进行端到端的训练。
2.轻权重。和原有的模型相比，该模块只是加入了很少的参数。
3.该模块能够使一个主要解决近正脸的人脸识别模型在处理极端姿态变化的情况下的表现。并且不需要数据增强和人脸归一化。
在正式介绍DREAM之前，作者首先介绍了特征等方差。特征等方差可以理解为随着输入图片的变化，学习到的特征表示是如何变化的。值的关注的是，随着输入图片的变化，最终学习到的特征是以一种可以预测的方式变化的。图3给出了本文的DREAM模块示意图。
图3
之前阐述的特征等方差可以表示为
其中， 可以看作是神经网络将一张图片X通过映射变换为一个向量
， Mg表示的是特诊之间的映射。
有趣的是，通过映射Mg来处理任意的输入图片，该函数能够得到特征之间内在的几何性质。
其中， 表示的是真练图片的特征，
表示的是侧脸的特征，
表示的是经过残差模块的的侧脸图片特征。
表示的是yaw coefficient（直接翻译出来是偏航系数），并且
， 起扮演的是残差模块的软门控机制，当其值为0是表示的是正脸，非正脸的时候，随着姿态的变化，其值也随之变化。本文引进一个软门控机制是可以看作是一个在前向传播过程中采用了上下文信息的矫正机制。如图3所示，在DREAM模块的两个分支内，第一条分支由两个全连接+PReLU构成。第二条分支则对于头部自然i估计的一个软门控。
此外，本文还介绍了DREAM模块的三种使用方法。
第一、可以直接缝合在训练好的CNN网络上。特别是在给定基本网络架构的时候，可以在不改变任何原始模型学习参数的情况下，将 DREAM 模块拼在基础网络最后的特征层中。
第二、端对端。本文提出的这个轻权重的模块也可以端到端的方式和主干 CNN 一起训练。如果这个 CNN 不够简单或是之前训练过，可以使用现有的面部识别损失（例如，验证损失（verification）、识别损失（identification）等）用端到端的方法训练 DREAM 模块时对 CNN 进行微调。如果是用这种方法，模型在侧脸识别方面的表现无法保证，因为 DREAM 模块可能无法分辨正面和侧面，原因是在模块训练过程中没有具体地将一张脸的正面和侧面配对。
第三、端对端+重新训练。先将 CNN 和 DREAM 同时训练，再用成对的正面侧面的数据对 DREAM 模块进行有针对性地训练。
接下来就是几组实验，将不细致介绍实验部分。
从实验的结果来看，本文提出的深度残差等变映射(DREAM)模块的效果还是不错的。