View Confusion Feature Learning for Person Re-identification

Author

Fangyi Liu

Conference

ICCV 2019

Motivation

ReID的性能受图片拍摄视角影响，所以希望提取view-invariant特征。

Contribution

使用view confusion learning mechanism，提取视角不变性特征。
用SIFT特征来指导模型训练。

Framework

View Confusion Feature Learning for Person Re-identification

Pre-trained CNN Network

Pre-trained CNN Network用RAP数据集预训练，在正式训练网络时固定参数，ReID数据集的图片经过Pre-trained CNN Network后分成四类：{‘front’，‘right’，‘left’，‘back’}

Classifier Based Confusion

我们的目的是希望经过CNN提取得到的feature与视角无关，所以将feature输入到fc层经过softmax之后应该要分到common类中。Feature Extractor试图学习更好的特征，这些特征对视角具有鲁棒性，而分类器试图识别提取的特征属于哪个视图，有一种对抗学习的感觉…

Feature Based Confusion

不同视角提取得到的特征应该接近，本文用了center loss：
View Confusion Feature Learning for Person Re-identification
其中 $C_{y_i}$ 为为第i个ID的特征中心。

Sift Based Confusion

sift特征对视角变换具有鲁棒性，所以可以用sift特征来指导训练。
View Confusion Feature Learning for Person Re-identification
$g(x_i)$ 为sift特征经过BOW后的特征向量， $f(x_i)$ 为CNN提取的特征向量，两者在特征空间中要接近。