行人重识别论文spatially and temporally efficient non-local attention network for video-based person re-id
论文
https://arxiv.org/pdf/1908.01683.pdf
代码
https://github.com/jackie840129/STE-NVAN
特点:
Resnet50 + Non-Local
采用的数据集Mars
目前,基于视频的reid的最大数据集,应该就是2016年郑良老师开源的Mars(Motion analysis and re-identification set),数据集的官方链接好像失效了,这里借用博客https://blog.****.net/qq_34132310/article/details/83869605给出的一个地址:
网盘链接链接: https://pan.baidu.com/s/1XKBdY8437O79FnjWvkjusw
提取码: ymc5
整个MARS数据的大小大概为6.3G,有两个文件夹bbox_train,bbox_test,同时还需要下载一个关于数据集信息的info文件夹,info文件夹不包含在原始数据集中,下载地址为:
https://github.com/liangzheng06/MARS-evaluation
完整版的Mars数据集包含的文件夹如下图所示:
bbox_train文件夹
这个文件夹共包含625个子文件夹(代表着625个行人id),包含了8298个小段轨迹(tracklets),总共包含509914张图片。
bbox_test文件夹
这个文件夹*有636个子文件夹(代表着636个行人id),包含了12180个小段轨迹(tracklets).总共含有681,089张图片。在实验中这个文件夹被划分为图库集(gallery)+查询集(query)。名称为00-1子文件夹表示无用的图片集,他们对应的行人id被设为“-1”,一般在算法中直接无视pid=-1的图片,而名称0000子文件夹中,他们对应的行人id被设为0。表示干扰因素,对检索准确性产生负面影响。
info文件夹
这个文件夹中包含了5个子文件,包含了整个数据集的信息,目的是方便使用数据集
train_name.txt
这个文件里,按照顺序存放bbox_train文件夹里所有图片的名称,一共有509,914行
图片的命名规则为,以0065 C1 T0002 F0016.jpg为例:
0065 例表示行人的id,也就是bbox_train文件夹中对应的0065子文件夹名;
C1 表示摄像头的id,说明这张图片是在第1个摄像头下拍摄的(一共有6个摄像头)
T0002 表示关于这个行人视频段的第2个小段视频
F0016表示这张图片是在这个小段视频tracklet中的第16帧,在每个小段视频tracklet中,帧数从F0001开始。
tracks_train_info.mat文件
mat格式的文件是matlab保存的文件,用matlab打开后可以看到是一个8298*4的矩阵,
.mat格式的文件是matlab保存的文件,用matlab打开后可以看到是一个8298 * 4的矩阵。
矩阵每一行代表着一个tracklet;
第一列和第二列代表着图片的序号,这个序号与 train_name.txt文件中的行号一一对应;
第三列是行人的id,也就是 bbox_train文件夹中对应的 子文件夹名;
第4列是对应的摄像头id(一共有6个摄像头)。
5. query_IDX.mat文件
这个文件用matlab打开后可以看到是一个1 * 1980的矩阵,可以看到每一列是对应上面 tracks_test_info.mat文件中的第几行。
比如1978列中的值为12177,对应的是 tracks_test_info.mat文件中的第12177行。
而12177行中,可以看到其id=1496。不难发现同样id=1496的行还有12166, 12167等。其实这说明在 名称为1496子文件夹中,有多个小段视频(tracklet)。
值得注意的是, 并不是所有查询集的id,图库都有对应的相同id行人的行。在1980个查询id中,有效的id(在图库中存在相同id的行)数 = 1840。
也就是说,有些文件夹里只有1个tracklet。