1610.Deep Learning Prototype Domains for Person Re-Identification-CUHK-SYSU-PRW 论文笔记
基于深度学习原型域感知自适应的行人重识别
DLDP:deep learning model for domain perception selection and reid matching
行人重识别的核心就是一个跨域识别的问题,作者希望建立对摄像机视角鲁棒的模型来应用到未知视角的域中,因此,其提出了一种两步训练的深度学习方法,从训练集中发现固有的几个原型域模式,该方法训练好的的模型可以根据query自动匹配模型学习到的各域的特征嵌入,然后选择符合该query的学习到的特征嵌入原型域来提取特征,并进行最终的cosine相似度计算和ranking匹配。
另外,该query可来自训练模型未用到过得其他数据集来进行reid任务,即不需要在要部署的数据集上进行有监督或者无监督的域自适应训练就能直接应用模型进行reid行人匹配。
作者是在把10个数据集(即10个域)组成一个大方差和多样性的大规模数据集,提取一般性的行人原型域,并在最新的两个数据集CUHK-SYSU和PRW上做了实验,验证了该方法的有效性,尤其是这两个数据集更符合实际场景应用的地方时,数据集提供的是整张包含多行人的图像,采用detector自动检测行人得到的gallery往往有无ID和false positive行人,在这样的情况下进行reid方法的评价更具实际意义,符合实际应用场景。
训练具体步骤:
1.利用CNNs聚类多个域组成数据集,得到各原型域下的聚类子集样本(characteristic and dominant (prototype) domains are automatically discovered in large amounts of diverse data)
2.利用CNNs学习各原型域下进行ID有监督的特征嵌入学习,这样的学习更具针对性,能学习到更精细的具有判别性的信息,多少个聚类便会需要学习多少个原型域模型
以上方法能work的关键是:数据规模够大,拍摄视角够丰富!所以作者用如下数据组成一个更大数据库,来得到想要的模型。
测试阶段:
1.对每一个probe先为其匹配聚类得到的最像的原型域
2.采用该原型域学习到的特征嵌入,执行reid匹配任务
在CUHK-SYSU和PRW上的测试结果:
作者还做了一些其他的比较性实验:
**优势:**in this work, for the first time, does not rely on domain adaptation using target domain data whilst learning domain perceptive re-id for unknown target domains
除了本文方法,类似的域迁移或者迁移学习的方法还有:
通过有监督或无监督域自适应并使用目标域数据训练的跨域reid方法
有监督:
R. Layne, T. M. Hospedales, and S. Gong. Domain transfer for person re-identification. In Proceedings of the 4th ACM/IEEE international workshop on Analysis and retrieval of tracked events and motion in imagery stream, 2013.
L. Ma, X. Yang, and D. Tao. Person re-identification over camera networks using multi-task distance metric learning. IEEE Transactions on Image Processing, 23, 2014
X. Wang, W.-S. Zheng, X. Li, and J. Zhang. Cross-scenario transfer person re-identification. IEEE Transactions on Circuits and Systems for Video Technology, 2015.
无监督:
A. J. Ma, J. Li, P. C. Yuen, and P. Li. Cross-domain person re-identification using domain adaptation ranking svms. IEEE Transactions on Image Processing, 24, 2015
P. Peng, T. Xiang, Y. Wang, M. Pontil, S. Gong, T. Huang,and Y. Tian. Unsupervised cross-dataset transfer learning for person re-identification. 2016.
其他的没有做目标域自适应训练的迁移学习方法:Others have evaluated their models on datasets without any adaptation to the target domain
Y. Hu, D. Yi, S. Liao, Z. Lei, and S. Z. Li. Cross dataset person re-identification. In Asian Conference on Computer Vision, 2014
N. McLaughlin, J. M. Del Rincon, and P. Miller. Dataaugmentation for reducing dataset bias in person reidentification. In Proceedings of the IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS), 2015.
D. Yi, Z. Lei, S. Liao, S. Z. Li, et al. Deep metric learning for person re-identification. In Proceedings of the International Conference on Patter Recognition (ICPR), 2014.