通过弱监督多尺度的属性定位来增强行人属性识别

通过弱监督多尺度的属性定位来增强行人属性识别、

摘要

行人属性识别需要定位属性相关的属性来识别属性。现有的方法采用属性不确定的视觉注意或启发式身体部位定位机制来增强局部特征表示,而忽略了使用属性来定义局部特征区域。

引言

现有的大多数方法将行人属性识别当成多标签问题,然后仅仅从一张图片提取各个属性特征。该方法依赖于整体特征,但是区域特征对于高吸力度的属性分类更有用。
有人采用注意力机制来获得相关属性的掩模,但是效果不好,生成的掩模通常包含比特定属性区域还要大的区域。
有方法采用躯干检测、姿态估计、区域提议等方法来学习基于区域的特征。但大多数算法只是将基于部分的特征与全局特征融合,仍然无法表示属性-区域的对应关系。
作者提出的方法可以自动特定属性的定位区域并提取特征。

提出的方法

总体框架

通过弱监督多尺度的属性定位来增强行人属性识别

网络结构:

文章的思想是通过属性定位来增强属性识别。如图所示,该框架由特征金字塔结构的主网络和一组适用于不同特征层次的属性定位模块组成。首先将输入的行人图像在不添加区域标注的情况下输入主网络,在自底向上路径的末端得到一个预测向量。
显然,低级细节信息和高级语义信息是互补的。因此,文章提出了一种特征金字塔结构,以增强属性定位和基于区域的特征学习相结合。

总结

将FCN(水平跳连和顶部特征图向上采样的到的图拼接在一起)和属性定位模块核通道注意力机制结合在一起。损失函数是几个特征图大小水平得到的特征所预测出来的结果损失求和。