活体检测学习2

活体人脸检测方法

交互式

基于随机动作的方法和基于唇语声音混合的方法,防范:照片和视频中的假体人脸。
优点:对二维类假体人脸准确率高,通用性强。
缺点:需要用户配合,用户体验差;不能防止眼部、嘴部挖洞的面具攻击,使用范围窄。

非交互式

基于纹理的方法

LBP、HOG、Gabor等描述符从灰度图中抽取灰度纹理特征;LBP、LPQ等描述符从HSV、YCbCr颜色空间图像中抽取的颜色纹理特征。
防范:照片、视频和面具。
优点:容易实现,计算量少,单张图片可预测结果,速度快。
缺点:容易被拍摄设备、光照条件、图像质量影响。跨数据集通用能力不强。

基于图像质量的方法

手工设计特征抽取图像镜面反射、颜色分布、清晰度方面的图像质量特征
防范:照片、视频
优点:针对蛋类假体人脸的跨数据集通用能力相对强,速度快。
缺点:需要根据假体人脸的类别设计具体特征,跨假体类型的通用能力不强;需要高质量图像;难以抵御高清哑光照片、视频攻击。

基于生命信息的方法

光流法、运动成分分解检测活体不自主的眨眼,脸部、唇部的微运动
防范:照片
优点:对照片类假体人脸准确率高,通用性高。
缺点:需要视频为输入;计算量大,速度慢;难以防范视频攻击;对假*造的微运动鲁棒性不强。

远程光学体积描记术(rPPG)信息检测待测对象是否具有心率
防范:面具
优点:特定约束条件下准确率高
缺点:需要视频为输入;鲁棒性不强,受外界光照、个体运动的影响大。

基于其他硬件的方法

近红外图像特征;短波红外图像特征;热红外图像特征;400nm至1000nm的多个波段图像特征;光场图像信息;深度图像信息
防范:照片、视频、面具
优点:准确率高
缺点:需要增加新的昂贵硬件;设备采集、处理图像的时间增加。

基于深度特征的方法

从头训练CNN抽取深度特征分类;利用预训练的ResNet-50、VGG等模型抽取特征;深度特征与手工特征融合;三维卷积抽取时空深度特征;
防范:照片、视频、面具
优点:准确率较高
缺点:模型参数多,计算量大,训练时间长;过拟合问题;对数据量和数据丰富性上有高要求;

混合特征类方法

纹理信息和运动生命信息的混合;纹理信息和人脸结构信息的混合;人脸结构信息与运动生命信息的混合;背景信息和其他特征的混合
防范:照片、视频、面具
优点:融合多特征的优点提升识别准确率和通用性
缺点:计算量、存储量大,相对识别时间增长;算法实现和维护的工作量增加。

主流人脸活体检测数据集

活体检测学习2
活体检测学习2
活体检测学习2

参考文献

[1]蒋方玲,刘鹏程,周祥东.人脸活体检测综述[J/OL].自动化学报:1-24[2019-06-22].https://doi.org/10.16383/j.aas.c180829.