1505.Deep Ranking for Person Re-identification via Joint Representation Learning论文笔记

1505.Deep Ranking for Person Re-identification via Joint Representation Learning

这篇论文属于深度学习领域，作者把REID看做是一个learning-to-ranking问题，作者的贡献有：
1.特征表达和相似性度量学习往往分开优化或者序列化的处理来进行ReID任务，且传统方法很难有迁移和好的场景泛化能力，因此作者提出一种one ranking unit+deepCNN方法实现特征表达和基于特征选择的度量学习有效整合在一个learning-to-rank framework 框架ranking model里进行联合表达学习，one ranking unit用于训练时输入样本的采样和格式处理，根据标签把probe的真匹配放在top位置，然后将top和prob水平拼接为一个方形图像，和其他负样本对组成的方形图像一起输入deepCNN网络，该网络会学到一个像素图像到相似度得分的转换函数，从而输出最终的相似度得分，其过程相当于learn-to-rank得到正确的top-k检索输出。
2.ranking unit sampling为CNN网络提供输入方形拼接好的图像+deepCNN为全连接输出而不是cosine等二值输出，这样正样本对可以少于负样本对，对这种样本对的不平衡性有更好的适应性+the pre-training strategy+Relaxing the cross-view constraint+Data augmentation，且在无finetune下也有好的泛化性能。
3.作者采用了基于AlexNet的改进，Max-pooling增强对视角和姿态变化的鲁棒性，LRN增强对光照和对比度的鲁棒性，dropout在最后两层全连接层之后，缓解训练时的过拟合。为了实现在viper数据集上的deepernet应用，采用了预训练的方法和一些数据增强操作，增加数据的多样性。另外可设置训练时正负样本对的比例，其中1:2的设置较佳
4.Experimental Settings/ 在VIPeRdataset (a) and CUHK-01 dataset(b)做了很多比较实验
5.Comparison with State-of-the-art Methods/
6.Comparision with CNN-based Person Re-identification Algorithms/
7.Evaluation of Open-World Scenarios/
8.Comparison of Performance across Datasets/
9.Evaluations and Analysis：Contribution of joint representation learning；Ranking versus direct binary classification；Contribution of pre-training；Analysis of ranking unit sampling
10.作者重点与MLF（Marginal Fisher Analysis）+LADF(Locally-Adaptive Decision Function)/DML(Deep Metric Learning)/FPNN(filter pairing neural network)/kLFDA（Local Fisher Discriminant Analysis） 做了实验比较。另外分析了所提深度模型预训练的有效性，对二值分类和本模型采用的ranking 算法做了比较。
11.presents an extensive comparison with state-of-the-art algorithms, and we analyze each component of our method. analyze each component of the framework for a fair self-evaluation, and further discuss key elements that may improve performance in a re-identification framework.
12.作者提出了今后的改进方向：充分利用大规模外不数据得到一个更好的预训练参数，and计划应用在视频序列的处理上，即视频序列到相似度得分的一种变换

我的想法：
作者主要参考论文：
J. Hu, J. Lu, and Y.-P. Tan, “Discriminative deep metric learning for face verification in the wild ，CVPR
P. Wu, S. C. Hoi, H. Xia, P. Zhao, D. Wang, and C. Miao, “Online multimodal deep similarity learning with application to image retrieval,”ACM
J. Wang, Y. Song, T. Leung, C. Rosenberg, J. Wang, J. Philbin, B. Chen,and Y. Wu, “Learning fine-grained image similarity with deep ranking,”in Proc. IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), Columbus,OH, USA, Jun. 2014, pp. 1386–1393.
H. He and E. Garcia, “Learning from imbalanced data,” IEEE Trans.Knowl. Data Eng., vol. 21, no. 9, pp. 1263–1284, Sep. 2009.
D. Yi, Z. Lei, S. Liao, and S. Z. Li, “Deep metric learning for person reidentification,” in Proc. Int. Conf. Pattern Recognit. (ICPR), Stockholm,Sweden, Aug. 2014, pp. 34–39.
W. Li, R. Zhao, T. Xiao, and X. Wang, “DeepReID: Deep filter pairing neural network for person re-identification，CVPR FPNN
作者应用了FPNN的joint representation of two images联合特征表达思想，在此基础上引入learning-to-rank思想，通过CNN网络使similarities of image pairs directly from image pixels变二值分类输出为学习一个度量变换函数，输出相似度得分，用于rank。
另外，Learning-to-ranking的思想确实可以提升ReID匹配率，是一个可以改进的方向。