2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification

Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
当前的问题及概述
视觉因素的变化,如视点、姿势、白光和背景,通常被认为是re-ID任务的重要挑战。尽管这些因素是有影响的,但关于它们如何影响认知系统的定量研究仍然缺乏。
本文通过探究viewpoint对系统的影响进行探究,有两大突出贡献,首先,引入了一个大型合成数据引擎PersonX。由手工制作的3D人物模型组成,该引擎的突出特点是“可控”。也就是说,我们能够通过将变量设置为任意值来合成行人;其次,在三维数据引擎上,定量分析了步距旋转角度对reid精度的影响。
2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
A中展示的是俯视角度,摄像机的角度(FoV)不变,同一ID转动了60°(viewpoint)B展示了人物ID的不同viewpoint。
Method
2.1 personX:
本文创建了一个包含1,266个人物模型的可控制的3D世界,如下图:
2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
作为一个可控系统,它可以满足各种数据的需要,为了保证多样性,满足:
1,制作了不同肤色、年龄、体型(身高和体重)、发型等人体模型。
2,这些身份的衣服和佩戴的背包、肩袋、眼镜或帽子不同。衣服的材料(颜色和纹理)是从真实世界的衣服图像中映射出来的,
3,角色的动作可以是行走、奔跑、空转(站立)等也不同,
4,照明方式和强度不同,可以是定向光(太阳光),点光,聚光灯,区域光等。颜色和强度等参数可以根据每种照明类型进行修改。
5,相机配置取决于不同的图像分辨率、投影、焦距和高度值。
6,背景不同
7,Viewpoint不同,如下图:
2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
下表为不同数据集比较,其中view代表是否有viewpoint label,下面所有数据集,只有personX可以再编辑:
2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
2.2evaluation of viewpoint
实验展示了3种已有方法在不同数据集的mAP指标:
2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
A和B:两个viewpoint训练C:一个viewpoint训练D:缺少连续的viewpoint对PersonX46的影响:
2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
从PCB在Market-1203数据集上测试结果可以看到,红色框代表了错误匹配,绿色代表正确,可以看到,匹配的图像对于viewpoint的影响更大,从而降低了准确性。
2019 CVPR之ReID:Re-ranking via Metric Fusion for Object Retrieval and Person Re-identification
总结
本文主要提出了一个虚拟数据集personX,这个数据集可以根据具体任务提供不同背景、人物动作着装配饰等进行不同的建模,同时这个数据集有viewpoint label。其次,本文说明了viewpoint对于ReID任务的影响较大,因此对于任意ID的图像,不同view的图像,距离明显增大,因此将来在ReID任务中应该更加攻克视角问题带来的差异性问题。具体来说,本文总结了一下3点:1缺少viewpoint label会影响train,2丢失连续的viewpoint label比丢失随机的viewpoint label更有害,3当有限的训练viewpoint label可用时,左/右方向比前/后方向能更好地训练模型。