Locally Assembled Binary (LAB) Feature with Feature-centric Cascade 论文翻译
一种快速的精准的以LAB特征为中心的级联检测方法
源论文标题：Locally Assembled Binary (LAB) Feature with Feature-centric Cascade for Fast and Accurate Face Detection
源论文链接：http://www.jdl.ac.cn/doc/2008/CVPR08_syyan_Print.pdf
【摘要】
在本文中，我们描述了一种新型的快速且准确的面部检测特征。该功能称为局部二值Haar特征（LAB-Locally Assembled Binary）。LAB特征基本上来自于Haar特征和局部二值模式（LBP）在面部检测中的成功，但远远超出了两者简单的组合。在我们的方法中，Haar特征被修改为仅保持序数关系（所以命名为二值Haar特征），而不是累积强度之间的差异。类似LBP的思想，我们组合了相邻的几个二值Haar特征。LAB特征相比Haar特征和LBP，更加的有效率和节省计算开销。此外，我们提测了一个新的以特征为中心的级联方式（feature-centric
cascade），在检测中更加的高效。在CMU + MIT的正脸测试数据集和CMU侧脸数据集上的实验结果表明，我们的方法有非常好的效果和惊人的检测速度。
【1、介绍】
近十年来，我们目睹了人脸检测技术的蓬勃发展。 不同的研究或商业组织为各种实际应用开发了各种快速准确的面部检测系统，如视觉监控，机器人，图像检索和智能人机界面。
在介绍面部检测的发展和问题之前，首先给出参考文献[1]引用的面部检测的概念：给定任意图像或图像序列，面部检测的目标是确定是否存在面部图像，如果存在，返回其图像位置和范围。
一般情况下，图像中的脸部随着不同的照明条件，人物，姿势，表情等而变化。所有这些因素使得面部检测变得具有挑战性。 为了应对这些变化，研究人员[2,3,4]往往通过采用适当的特征和有效的学习方法来模拟“面孔”。 更一般来说，这实际上是所有模式分类问题的关键问题。
基于人脸的各种物理特性提出了许多不同类型的特征。 这些特征包括强度，颜色，纹理，边缘和图形[2，3，4，5，6]等等。 某些功能在特定条件下显示出良好的性能，但在一般情况下却有局限性。 例如，肤色可以是分割面部区域的有效特征。 然而，它需要启发式的后处理从分割结果中提取面部。 此外，肤色对光照变化较敏感，只能应用于彩色图像。 其他特征，如小波[7]，可以适应适度的光照变化。 然而，当考虑分类精度和计算成本时，基于强度的方法通常在某些特殊应用环境中最佳性能[2,7,8]。
对于分类器，面部检测的经典分类器包括神经网络[8,9]，贝叶斯分类器[7]，支持向量机（SVM）[2]和SNoW [10]。
面部检测研究的里程碑是Viola和Jones的工作[11]。 在他们的工作中，开发了一种前脸检测系统，其实现了高精度和几乎实时的速度。 探讨了Haar功能和Adaboost级联检测器。 在这项开创性的工作之后，提出了许多改进的版本。 他们大多集中在AdaBoost [12,13,14,15,16,17,18和19]的替代品上，Haar的特征[19,20]，由粗到细的架构[21,22,23,24]，以及 级联架构的优化调整[17,18,26,27,28]。
上述技术，特别是Viola和Jones的方法，确实大大提高了人脸检测。 然而，在分类精度和检测速度方面，特别是在复杂的情况下，面部检测研究的依然没有结束。
为进一步提高人脸检测系统的效率，本文提出了一种新型的人脸检测方法。 我们的方法的第一个关键贡献是提出一种新型的特征。 我们称之为“局部二值特征（LAB）”。 LAB特征的灵感来自于Haar特征和局部二进制模式（LBP）在面部检测中的成功，但并不是两者的简单组合。在我们的方法中，Haar特征被修改为仅保持序数关系（所以命名为二值Haar特征），而不是累积强度之间的差异。类似LBP的思想，我们组合了相邻的几个二值Haar特征。
为了学习更有效的面部检测器，我们提出以特征为中心的级联检测方法。 以特征为中心的级联是将级联理念引入以特征为中心的方法。 它大大加快了正脸的检测，甚至可以用于多角度人脸检测。 这是本文的第二个贡献。
为了评估LAB特征和以特征为中心的级联的分类精度和计算成本，我们在正脸数据集（包括23万个正面样本）上进行实验。 数据集中的脸部图像涵盖了各种变体来源。 最终检测器在CMU + MIT正脸测试数据集上进行评估。与已知的最佳结果相比，显示出更好的性能。 我们还进行了多角度面部检测实验，我们所提出的方法在精度和速度方面也表现出良好的性能。
本文的其余部分组织如下：我们首先在第2节中介绍所提出的LAB特征。第3节描述了以特征为中心的级联。第4节介绍了正脸的面部检测和多视角人脸检测的实验结果。 第5节给出了结论和未来的工作。
【2、LAB特征】
在本节中，我们从三个层面描述了LAB特征：二值化的Haar特征、组合的的二值化Haar特征、LAB特征。
【2.1、二值化的Haar特征】
为了清楚起见，我们首先回顾haar特征，分析其计算成本，然后提出二值haar特征。
haar特征是几个相邻矩形区域的累积强度之间的差异。 矩形的常见形状如图1所示。
特征值是填充矩形和未填充矩形之间的差值。 更一般来说，矩形的布局可以任意变化。 可以通过称为积分图像的辅助图像来有效地计算矩形区域的累积强度，详见[11]。haar特征的计算包括相关矩形的累加强度的加或减。 例如，如图1（a）和（b）所示的2矩形哈尔特征可以计算为：
其中(s1)j 和 (s2)j 表示haar特征j的填充和未填充矩形的强度和，x是输入图像。
在实践中，为了获得对光照不变的特征，在特征提取之前，通常在候选图像窗口上使用光照校正。 常用的光照校正方法包括方差归一化，直方图均衡和线性光照校正等。尽管这些光照校正操作看起来很简单，但是由于它们应用于输入图像中的每个候选窗口，检测可能变得耗时。 例如，在Viola和Jones的工作[11]中，对于输入图像的每个候选窗口，进行方差归一化。 然后在方差归一化窗口上计算haar特征。
此外，上述光照校正处理导致另一个问题：对于属于不同候选窗口的相同Haar特征，由于不同窗口的不同光照校正参数，必须重新计算多次。 重新计算导致多个特征评估，并大大增加了计算成本。 例如，具有光照校正的haar特征可通过以下方式计算：
其中σ是某些候选窗口x的方差。 因为σ对于不同的候选窗口是不同的，所以对于包含它的每个不同的候选窗口，重新计算相同的Haar特征，如图2所示。显然，这导致多个浮点分割。
为了克服上述问题，提出了二值haar特征，它仅保留haar特征计算中的序数关系：
换句话说，所提出的二值化haar特征仅保留haar特征的符号信息，而绝对差被丢弃。 通过这种二值化操作，该特征对于全局光照不变性变得更加健壮。 因此，通过避免了对每个候选窗口进行特定的光照校正，这降低了计算成本。 此外，同时避免了上述特征重新计算问题，并且有助于使用3.1和3.2节所述的以特征为中心的策略。 结果，提高了脸部检测速度。
【2.2、组合的二值化haar特征】
尽管它有计算快的优点，但我们发现单个二值Haar特征的识别力可能太弱，不能构建一个强大的分类器。 为了提高二值化Haar特征的辨别力，我们提出将多个二值化Haar特征组合在一起，并将其作为一种新的特征。 该特征称为组合的二值化haar特征（ABH）。 图3显示了ABH特征的示例。
在图中，ABH特征集成了3个二值化Haar特征。 当3个二进制Haar特征值为1,1和0时，ABH特征是通过以下公式计算的：
其中a()是来自3个二值化Haar特征b1，b2和b3的ABH特征计算函数，(110)2的下标2是从二进制数到十进制数的操作。 特征值指定了(2的F次方)个不同组合的索引，其中F是组合二值化特征的数量。
【2.3、LAB特征】
ABH特征的数量很大。 为了枚举它们，有几个参数，例如要组合的二值化Haar特征的数量，每个二值化haar特征的大小以及每个二值化Haar特征的位置。从这个巨大的特征池中学习是难以对付的。 幸运的是，我们发现一个非常适合人脸检测的缩减集。 缩减集中的特征称为局部组合二值化Haar特征。 为了简单起见，下面称之为LAB特性。
在组合的二值化Haar特征中，LAB特征是仅结合了8个本地相邻的2矩形框二值化Haar特征，具有相同的大小，并且共享一个共同的中心矩形。 用于组合LAB特征的8个二值化Haar特征如图4所示。
图5给出了LAB特征的两个示例。 在图中，显示了两种不同的LAB功能。 中心的黑色矩形由8个相邻的二值化Haar功能共享。 所有九个矩形的大小相同。
正式地，LAB特征可以由4元组l(x,y,w,h)表示，其中x和y表示图像中特征的左上位置的X坐标和Y坐标， （w，h）是矩形的宽度和高度。
LAB特征继承了二值化haar特征的所有优点，识别力较强。 还有它的数量很小。 LAB特征捕获图像的局部强度结构。 计算LAB特征需要计算8个2-矩形框的haar特征。 与一个haar特征相比，计算成本增加。 但它具有更多的纠错力，在检测过程中不需要特殊的光校正。 这些优点总体上降低了我们提出的方法中的面部检测过程的计算成本（第3节）。
LAB特征与局部二值模式（LBP）有些相似，已被证明在纹理分析中有效[29]。 可以看出，LBP是具有一个像素大小的LAB特征的特殊情况。
与LBP类似，LAB特征值位于{0，... 255}。 每个值对应于特定的局部结构。
【3、使用LAB特征进行脸部检测】
本文提出的检测方法也采用级联结构。脸部检测器的整个级联结构如图6所示。
它可以分为两个明显的部分。 第一部分是一些子分类器，整体称为以特征为中心的级联。 它们按照3.2节中提出的方法运行。 第二部分是其他分类器，称为窗口中心的级联。 它们以一种以窗口为中心的方式运行，与Viola and Jones’ 的方法相似。
本节的组织结构如下：在3.1节中，介绍了H. Schneiderman在[23]中命名的两种检测方法：以特征为中心和以窗口为中心。 在3.2节中，基于对这两种检测方法的全面分析，提出以特征为中心的级联方法，构建更有效的面部检测器。 在3.3节中，描述了以窗口为中心的级联的学习。 最后在3.4节中，提出了一种检测方法，用于单一视角适配为多视角。
【3.1、特征为中心的检测方法】
【未完待续】