Multi-Object Tracking and Segemtation(MOTS)多目标跟踪与分割数据集

      德国亚琛工业大学计算机视觉实验室在19年发布的文章中提出了多目标跟踪与分割的网络TrackR-CNN,并公开了基于KITTI_Tracking和MOT_challenge的重新标注的MOTS数据集,数据集的目标只有Car与Pedstrian两类。

论文:MOTS:Multi-Object Tracking and Segmentation

GIthub源码:TrackR-CNN

项目主页:https://www.vision.rwth-aachen.de/page/mots

数据集网盘链接:https://pan.baidu.com/s/1EbsTUNW03r2-evQvs2ko-g     提取码:82tv

      网络源码Github已经开源,数据集也可以从项目主页上下载。但是主页提供的下载比较混乱,搞了好久才整理出符合代码中定义的所有数据以及存放格式,上传到了博主的百度网盘,各位可以下载,百度云虽然慢,但是它大啊。。。

     KITTI_MOTS数据集是对KITTI_Tracking数据集进行重新标注获得的,原数据集用于多目标跟踪,但均为2D Box标注,为了满足MOTS任务而补充了实例分割Mask的标注,根据论文所述,把原KITTI数据集中的20个序列划分成了train和valid。

     MOTS_Challenge数据集同样是这样的来源,但只有四个序列,是人群密集、遮挡严重的部分,属于MOTS中的Challenge级任务数据。

     数据集的标注文件有.png和.txt两种。网盘当中我只存了.png标注,两者没有什么区别。标注图像为16位的单通道图像,每个像素值包含的信息是该点所属目标的类别以及跟踪实例的序号,其中:

     0表示无目标;

     四位数值代表了目标区域,首位1为Car,2为Pedestrian。后三位是目标实例在跟踪过程中的序号,用于前后帧的目标关联。

     10000表示ignore的区域,根据KITTI_Tracking中的定义,对于大卡车、骑行的人以及远处遮挡严重的一些目标区域进行忽略,在训练以及测试中均不处理这些区域。

      为了方便查看数据集以及标注情况,博主写了根据数据集单个序列生成视频的工具

MOTS数据可视化工具Github:MOTS_Tools 

      日后还会加入对网络输出的可视化以及性能评估工具。KITTI_Tracking数据集可视化如下图:

Multi-Object Tracking and Segemtation(MOTS)多目标跟踪与分割数据集

      MOTS_Challenge数据集示例:

Multi-Object Tracking and Segemtation(MOTS)多目标跟踪与分割数据集