论文笔记-Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing
第1…4天啦
今天依旧给大家介绍一篇人脸反欺骗的论文，略读。
一、研究背景
人脸反欺骗对人脸识别系统的安全性至关重要。深度监督学习已被证明是最有效的人脸反欺骗方法之一。尽管取得了巨大的成功，但大多数先前的工作仍然通过简单地用深度来增加损失来将问题公式化为单帧多任务问题，同时收集详细的细粒度信息以及面部深度和运动模式之间的差异。
以往的方法通常将人脸反欺骗形式化为欺骗和现实生活之间的二元分类。然而，这些方法对于探索欺骗模式的本质是具有挑战性的，例如皮肤去尾的丢失、颜色失真、莫尔模式和欺骗伪像。
为了克服这个问题，人们开发了许多辅助的深度监督人脸反欺骗方法。直观地说，活人脸的图像包含类似人脸的深度，而普通欺骗人脸的图像只有平面深度。因此，阿托姆等人和刘等人提出了单帧深度扩散的CNN架构，并提高了呈现攻击检测(PAD)的准确性。
二、研究方法
相比之下，我们设计了一种新的方法来检测来自多个帧的演示图钉，基于两个见解:
1)通过堆叠的普通卷积，可以丢弃活体和欺骗面部之间的详细区分线索(例如，空间梯度大小)
2)3D移动面部的动态特性在检测欺骗面部时提供重要线索。
所提出的方法能够通过Residual Spatial Gra- dient Block (RSGB) 捕获有区别的细节，并有效地编码来自时空传播模块Spatio-Temporal Propagation Module (STPM)的时空信息。此外，为了更准确地进行深度监控，提出了一种新的Contrastive Depth Loss方法。为了评估我们的方法的有效性，我们还收集了一个Double-modal Anti-spoofing Dataset(DMAD)数据集，它提供了每个样本的实际深度。
三、贡献
- 本人提出了一种新颖的深度监督结构，通过Residual Spatial Gra- dient Block (RSGB)捕获有区别的细节，并从单目帧序列中有效地编码来自时空传播模块(STPM)的时空信息。
- 本文开发了一个Contrastive Depth Loss，以学习深度监督的个人数字助理的面部点形状。
- 我们收集了一个双模态数据集，证明实际深度比生成的深度更适合于单目眼动。这表明了一种见解，即选择相应的深度图像到RGB图像给单目PAD的进展带来好处。在广泛使用的面部反欺骗基准上展示了最先进的性能。
四、方法
模型的框架由级联的RSGB和池化层组成，分别用于提取低层、中层和高层的细粒度空间特征。然后将这些多级特征联系起来，以预测每帧的粗略深度图。
为了捕捉丰富的动态信息，STPM被插在帧之间。短期时空块(STSTB)从相邻帧中提取时空特征，而ConvGRU在多帧长期视图中传播这些短期特征。最后，从STPM估算的瞬时深度图被用于从主干提炼粗略深度。
使用Sobel 来计算梯度大小：
使用RSGB来捕获细粒度的空间细节线索：
活脸和假面之间的虚拟深度区分可以通过多个帧来充分探索。因此，我们设计了STPM提取多帧时空特征用于深度估计，通过短期时空块和转换。
在经典的基于深度的人脸反欺骗中，欧几里德距离损失(EDL)通常用于像素级超视觉，公式如下：
其中
D
P
D_P
DP和
D
G
D_G
DG分别是预测深度和groundtruth 真实深度。EDL基于一个接一个的像素对预先预测的深度进行监控，忽略相邻像素之间的深度差异。直观地说，EDL只是帮助网络学习物体到摄像机的绝对距离。然而，不同对象的距离关系对于深度学习来说也是重要的。因此，如图5所示，我们提出对比深度损失(CDL)来提供额外的强监督，这提高了基于深度的人脸反欺骗模型的通用性:
总的损失：
五、结论
本文提出了一种新的人脸防欺骗方法，该方法利用细粒度的时空信息进行人脸深度估计。在我们的方法中，剩余空间梯度块(RSGB)用于检测更多有区别的细节，而时空传播模块(STPM)用于编码时空信息。一个额外的对比深度损失(CDL)被设计来提高深度监督的PAD的通用性。我们还研究了实际深度图在人脸反欺骗中的有效性。大量实验证明了我们方法的优越性。
本篇论文没有仔细的去阅读具体的方法细节，只是大概的过了下整体的方法。