动机

在很多困难场景下, 如大姿态, 基于深度学习的人脸识别性能会下降很多. 但我们观察到,在这些困难场景下, 如大姿态, 人脸的属性信息(facial attribute)如性别, 人种, 发色, 眉毛形状等是保持不变的. 很自然地,深度人脸识别的特征(FRF)和属性识别的特征(FAF)具备互补性. 融合这两种特征可以提高人脸识别率. 我们尝试了现有的融合策略,表现令人难以满意. 我们提出一种基于张量(tensor)的特征融合方式来融合FRF和FAF.

尽管每个维度的相似性得分各不相同，但是总的得分FRF、FAF保持相似，融合后更加相似。

贡献

1. 这是第一项系统地调查和验证面部属性是各种重要线索的工作人脸识别方案。特别是，我们研究了极端姿势变化的人脸识别，即±90°；
2. 提出一种基于张量的融合框架，使用TUCKER张量分解的方式降低待优化的tensor的维度；
3. 实验结果表明融合功能比单个功能更好，从而证明面部属性第一次有助于面部识别。
   测试的数据库：MultiPIE（交叉姿势，照明和表达)、CASIA NIR-VIS2.0（跨模态环境）和LFW（不受控制的环境）。

方法

两个特征用tensor连接可以用于特征融合，融合的效果取决于tensor参数优化的效果，但tensor的维度很高, 难以优化, 我们使用TUCKER张量分解的方式降低待优化的tensor的维度,即使这样优化仍然面临着求导及正则化设计的困难。我们发现这个tensor优化问题可以与一个two-stream gated的神经网络进行等价。发现这个等价后, 我们可以：

1. 使用现有深度学习的优化工具进行优化, 如tensorflow, 而不需要手动设计复杂的tensor的优化。由于在tensorflow优化时可以用mini-batch, 这样我们的优化天然就是scalable的 ；
2. 融合部分可以与特征学习的神经网络进行端到端的学习，这篇论文提供的一个insight是,将tensor和深度学习进行等价。 这样tensor领域的知识可以用来理解神经网络, 反之亦然。

相关工作

人脸表示的两种类型：手工特征和深度学习特征。
手工特征有LBP和Gabor滤波器等，对于不同的身份表现不同，对于个人内部变化的表示相对不变，但是手工特征在不受控的环境中表现不好。
一种方法是使用相当高维的特征(对特征进行密集采样)，另一种方法是使用更好的度量学习方法(各种score函数)去增强特征表达。

1）使用面部属性的人脸识别

定义65个面部属性并提出二元属性分类器SVM预测他们的存在与否

训练数据使用精心设计的面部patch

融合以上输出的分类器分数（即属性向量）可用于人脸识别

2）特征融合方法

简单的融合方法可以分为特征级（早期融合）和分数级（后期融合）。分数级融合是融合相似性基于每个属性的计算得分，通过简单平均或堆叠另一个分类器。

子空间学习方法。首先连接特征，然后将连接的特征映射到子空间。

• 有监督。Linear Discriminant Analysis (LDA) 和 Locality Preserving Projections (LPP)
• 无监督。Canonical Correlational Analysis（CCA）和 Bilinear Models（BLM）

融合属性和识别功能

1）单一特征

我们从标准的多分类问题开始，假设我们有M个样本、C个身份类别，分别提取D维 FRF 特征 x(i)

2）多重特征

假设我们除了D维FRF特征还有B维FAR特征 z(i)

×表示点乘，下标标识W在哪个轴上运算，W的size是D × C × B。

3）优化

Tucker 分解：为了减少参数数量，我们设定了一个约束S。



建模的灵活性在于我们有三个与轴对应的超参数KD、KC、KB。

另一个出名的分解CP对张量的所有轴都有一个超参数K

4）门控双流神经网络（GTNN）