摘要

本文探索更好的应用深度卷积神经网络到行人属性识别问题，设计了一种新的属性感知池算法。现有的传统CNNs不能直接用于处理多属性数据，因为 标签空间较大，属性间纠缠和属性的相关性。通过充分利用不同属性之间的相关性来解决这些阻碍多属性分类CNNs发展的挑战。采用多分支结构对不同区域的属性进行操作。除了基于各分支本身的预测外，还利用各分支的上下文信息进行决策。为了实现这两种信息的集成，开发了属性感知池。因此，利用上下文信息可以准确地识别模糊或混杂的属性。在基准数据集上的实验表明，所提出的pooling方法能够很好地探索和利用属性之间的相关性来进行行人属性识别。

核心点

作者指出现有的多分支网络方法忽略属性数据的先验知识，提出了一种新的行人多属性识别CNN架构，探索不同属性之间的相关性，即属性共现先验。

某些属性之间的关联关系和相关性在训练集和测试集中高度一致。例如，一个长发，穿裙子和高跟鞋的行人做注释，可以很容易地推断出他的性别属性为女性。

开发了一种新的属性感知池方法(AAP)来集成来自不同预测的信息，即CoCNN。网络主框架遵循多分支架构，同时收集多分支中的上下文信息来估计属性概率，再结合每个分支的属性估计来改进最终的决策。网络如图所示。

属性感知池化Attribute Aware Pooling

如上图所示，首先输入图片送入Backbone提取浅层高分辨率特征，分为多个分支计算属性预测值P，然后利用属性感知池化Attribute Aware Pooling将多分支预测值P与属性条件矩阵融合得到P+，输出MAX(P + P+ )即可。对于P+可以超参调节

既挖掘了不同人身上的属性，也考察了不同分支之间的关系。

Co-occurrence Priori Embedding 共现先验

首先，给定一个有k个标签和n个实例的训练集，设Ni表示数据集中出现的第i个标签的数量，pi = Pr(ai) = Ni=n为第i个标签出现的概率。将数据集中第i个标签和第j个标签的共现数表示为Nij，可以构造矩阵，其中Jij = Pr(ai;aj) = Ni;j/n为ai与aj的联合概率。然后，我们可以得到一个属性在另一个属性下的条件概率。ai是数据集中对应于标签空间Y的第i个属性

构造上述矩阵后，我们可以利用多分支网络的上下文信息进一步估计辅助概率P+。图2是PA-100K数据集上发现的矩阵C，我们可以看到一些属性经常在数据集中同时出现，例如Female和Skirt&Dress, LongSleeve和Trousers。

预测时单一分支需要融合多分支的预测信息，例如在l分支计算的属性j，其他分支的概率如下式，实际使用直接取max计算简单。通过设置阈值，得到该对应属性值。

作者指出上面公式不全面，不能覆盖冲突类属性，引入公式，第一项为L分支属性预测与数据集的属性条件概率，第二项为不是该属性i的计算。

作者将上式变换。

如此便转化为计算条件概率矩阵C(上下文信息)和输出概率矩阵Q（共现表）。实际输出为

关于训练部分这块的损失函数，未细究。

 

Back Propagation

梯度更新是常规的反向传播，算法如下图

实验部分

作者采用resnet50作为主干网络，最后一个残差模块多分支，输入分辨率448*224，作者划分了四个分支，全局分支，头肩分支，上身分支，下身分支，有重叠。

这里作者对输出叠加的超参进行了实验，对RAP和PA-100K，设置为0.2效果最好。