黑科技 PFLD，超简单、超快速、超高精度的人脸特征点检测算法
转载自 | 我爱计算机视觉公众号（ID：aicvml）
什么样的算法才是好算法？
真正能实用的算法才是最好的算法！
这需要实现三个目标：精度高、速度快、模型小！
今天 arXiv 新发布的文章《PFLD: A Practical Facial Landmark Detector》，则是实用人脸特征点检测算法的典范。
PFLD 算法，目前主流数据集上达到最高精度、ARM 安卓机 140fps，模型大小仅 2.1M!
这篇今天新出的论文，必将成为人脸特征点检测领域的重要文献，今天我们就一起来探究一下，PFLD 算法到底有什么黑科技。
作者信息：
作者分别来自天津大学、武汉大学、腾讯AI实验室、美国天普大学。
感谢各位大牛!
人脸特征点检测的挑战
作者首先从算法实用性角度讨论了人脸特征点检测问题的面临的挑战。
Challenge #1 - Local Variation
人脸表情变化很大，真实环境光照复杂，而且现实中大量存在人脸局部被遮挡的情况等。
Challenge #2 - Global Variation
人脸是3D的，位姿变化多样，另外因拍摄设备和环境影响，成像质量也有好有坏。
Challenge #3 - Data Imbalance
现有训练样本各个类别存在不平衡的问题。
Challenge #4 - Model Efficiency
在计算受限的设备比如手机终端，必须要考虑计算速度和模型文件大小问题。
算法思想
作者使用的网络结构如下：
其中，
黄色曲线包围的是主网络，用于预测特征点的位置；
绿色曲线包围的部分为辅网络，在训练时预测人脸姿态（有文献表明给网络加这个辅助任务可以提高定位精度，具体参考原论文），这部分在测试时不需要。
作者主要用两种方法，解决上述问题。
对于上述影响精度的挑战，修改 loss 函数在训练时关注那些稀有样本，而提高计算速度和减小模型 size 则是使用轻量级模型。
Loss 函数设计
Loss 函数用于神经网络在每次训练时预测的形状和标注形状的误差。
考虑到样本的不平衡，作者希望能对那些稀有样本赋予更高的权重，这种加权的 Loss 函数被表达为：
M 为样本个数，N 为特征点个数，Yn为不同的权重，|| * || 为特征点的距离度量（L1或L2距离）。(以Y代替公式里的希腊字母)
进一步细化 Yn:
其中
即为最终的样本权重。
K=3，这一项代表着人脸姿态的三个维度，即yaw, pitch, roll 角度，可见角度越高，权重越大。
C为不同的人脸类别数，作者将人脸分成多个类别，比如侧脸、正脸、抬头、低头、表情、遮挡等，w为与类别对应的给定权重，如果某类别样本少则给定权重大。
主网络
作者使用轻量级的 MobileNet，其参数如下：
辅网络
参数如下：
实验结果
作者在主流人脸特征点数据集 300W，AFLW 上测试了精度，尽管看起来上述模型很简单，但超过了以往文献的最高精度！
下图是在 300W 上的 CED，完美将其他算法的曲线压在下面。
下图为在 300W 数据集上不同评价标准 IPNIOP 精度比较结果，依然是最棒的。
其中 PFLD 1X 是标准网络，PFLD 0.25X 是 MobileNet blocks width 参数设为0.25的压缩网络，PFLD 1X+ 是在 WFLW 数据集上预训练的网络。
值得一提的是表格中 LAB 算法，是 CVPR2018 上出现的优秀算法，之前一直是 state-of-the-art。
下图是该算法在 AFLW 数据集上与其他算法的精度比较：
同样是达到了新高度！
下面来看一下算法处理速度和模型大小，图中 C 代表 i7-6700K CPU，G 代表 080 Ti GPU，G* 代表 Titan X GPU，A 代表移动平台 Qualcomm ARM 845 处理器。
PFDL 同样是异乎优秀！与精度差别很小的 LAB 算法相比，CPU 上的速度提高了 2000 倍！
下面是一些特征点检测示例，尽管很多样本难度很大，但 PFLD 依然给出了可以接受的结果。
作者没有开源代码，但给出了 Android 应用 APK 和 Android 工程（算法封装在bin文件里）。
这个算法实在是太吸引人了，你是不是也想试一下呢？
作者给的网址：
https://sites.google.com/view/xjguo/fld
提醒一下，作者声明，该工程仅可用于研究比较，如需商业使用需要联系作者获得授权。
论文地址：https://arxiv.org/pdf/1902.10859.pdf
PFLD 算法看起来简单，但精度却很高，这无疑来自作者设计的 Loss 函数很好的处理了样本类别不平衡的问题，你觉得还有更好的处理方法吗？欢迎留言。