《Improving Person Re-identification by Attribute and Identity Learning》论文笔记

《Improving Person Re-identification by Attribute and Identity Learning》论文笔记


作者:Yutian Lin, Liang Zheng, Zhedong Zheng, Yu Wu , Zhilan Hu , Chenggang Yan, Yi Yanga.
原文链接:link.

Motivation

ReID和属性识别在行人描述方面有共同的目标,他们的区别在于细粒度,属性识别关注行人的局部特征,而ReID通常提出全局特征,考虑到他们的相似性和区别性,作者提出一个集成了ReID和属性识别的多任务方法,具体地,提出一个名为attribute-person recognition(APR)网络,它包含两种类型地损失函数:ID分类损失和属性分类损失。说白了就是使用CNN(Resnet50),删除最后一层FC层,后面分别接一些FC层,其中一个是FC-ID,用于对行人ID进行分类,剩下其他的FC层用于属性分类。

Contributions

(1) 结合ID和属性分类损失,提出了一个attribute-person recognition(APR)网络。
(2) 为Market-1501和DukeMTMC-reID两个数据集手动标记属性标签。

Method

《Improving Person Re-identification by Attribute and Identity Learning》论文笔记
上图是APR的结构图,backbone是ResNet50,可以分为两个baseline: ReID baseline和 Attribute baseline。
ReID baseline: 删除ResNet最后的FC层,添加一个新的FC成,输出维度为K,K表示身份的数量,在FC层前添加一个dropout层,测试时,提出pool5输出的2048-dim特征,使用欧式距离计算query和gallery图像之间的距离。
**Attribute baseline: ** 在softmax层之后添加M个FC层,M表示属性类别的数目。

Loss 计算:
给定K个身份的n个图像,每个身份有M个属性;Di={xi,di,li }表示训练集,xi表示第i个身份,di表示xi的身份,li={lil,…,liM}是图像xi的一组M个属性标签。
ID loss: 提取pool5输出的1×1×2048向量,FC0层的输出是z=[z1,z2,…,zK]∈RK,因此每个ID标签的预测概率为《Improving Person Re-identification by Attribute and Identity Learning》论文笔记
ID分类的交叉熵损失表示为:
《Improving Person Re-identification by Attribute and Identity Learning》论文笔记
**属性分类loss:**属性预测由M个softmax损失组成,样本x属于属性类别j∈1….m的概率为
《Improving Person Re-identification by Attribute and Identity Learning》论文笔记
因此每个样本x的属性分类损失表示为:
《Improving Person Re-identification by Attribute and Identity Learning》论文笔记
最后APR的总体损失为:
《Improving Person Re-identification by Attribute and Identity Learning》论文笔记

Experiment

参数设置

使用ResNet50作为backbone时,训练55个epoch;batch size=64;使用SGD优化器,在最后5个epoch,学习率从0.001下降到0.0001。
使用CaffeNet作为backbone时,训练110个epoch;batch size=128;使用SGD优化器,在最后10个epoch,学习率从0.1下降到0.01。

Person Re-ID评估

《Improving Person Re-identification by Attribute and Identity Learning》论文笔记
《Improving Person Re-identification by Attribute and Identity Learning》论文笔记

属性识别评估

《Improving Person Re-identification by Attribute and Identity Learning》论文笔记

不同属性对ReID的影响

《Improving Person Re-identification by Attribute and Identity Learning》论文笔记