行人重识别的挑战与最新进展(35页PPT整理)

行人重识别的挑战与最新进展(35页PPT整理)

本文转载自知乎,作者为悉尼科技大学博士生郑哲东,已获作者授权转载。

链接:https://zhuanlan.zhihu.com/p/163255539

行人重识别近几年获得了在测试结果上的大幅提升,甚至超过了人的分辨能力,但是我们在实际应用上仍有很多待解决的问题。在本文中,我们take a step back, 提出了一些问题和潜在的解决方案,主要以我们reler组(http://reler.net/)的尝试为主,包括大家比较熟知的 PCB / HHL/ PUL/ SPGAN/ DG-Net等工作,抛砖引玉。 希望能为未来这个领域的发展提供一些新的视野。

由于篇幅,我们只能展示有限的工作,我们respect所有在这个领域作出贡献的老师同学们。感谢大家!这篇文章中提到多数文章的代码,我们都开源在github了(直接搜就能找到)。

下载PDF版本文件,请在我爱计算机视觉公众号后台回复“ReID”。

  • 背景介绍:

  • 行人重识别任务就是一个跨摄像头检索的任务。这个任务的出现是由于 日益提升的公共安全需求和在公共区域的大型摄像头网络 (如迪士尼乐园/商场/大学校园)。

行人重识别的挑战与最新进展(35页PPT整理)

首要的难度是在于不同摄像头下,由于视角的差异所引入的appearance变化。同时,也需要一些细粒度的信息来区分不同人。

行人重识别的挑战与最新进展(35页PPT整理)

近几年,supervised person re-id 一直在提升结果。

行人重识别的挑战与最新进展(35页PPT整理)

今年我们组也在CVPR 2020 Workshop的比赛中,在车辆重识别赛道拿到了第一名。我们发现仍有一些问题没有被解决,包括训练数据等等方面。

行人重识别的挑战与最新进展(35页PPT整理)

目前已经有了很多数据集,但是相比ImageNet 一百万的训练数据,目前reID的数据集都还是相对小。

行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)
  • 所以,总的来说,在实际场景中,应用reID的挑战仍是多个方面的,包含 数据/效率/性能等等方面。对应也有一些潜在的解决方案,我们组做了一些尝试。

行人重识别的挑战与最新进展(35页PPT整理)1.对于有限的数据,最直接的方案就是补充数据。但是额外的数据往往需要额外的标注。同时,我们无法保证额外数据的分布是否改变(比如额外数据是一天内不同时间采集的,光照不同)。行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)

2. 除了训练数据,大家最关心的就是训练的有效性了。如何挖掘数据背后的故事,特别是局部细节。

行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)

3. 在行人重识别的精准度有了长足发展之后,效率也是一个必须考虑的方面。

行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)

4. 如果标注很有限,该怎么学习呢?

行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)

5. 训练集与测试集的采集方式不同,就导致了domain gap。这也是在实际落地reID遇到的最大问题。

行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)

6.最后,在非限制场景中,往往会遇到遮挡等等环境问题。如何学习一个鲁棒的行人表示?

行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)

目前reID任务已经有了长足的发展,未来可能的方向,包含 鲁棒性,快速学习,在线学习等等。基本还是以落地实用 为导向。

行人重识别的挑战与最新进展(35页PPT整理)行人重识别的挑战与最新进展(35页PPT整理)

感谢大家,我们提出了一些问题和潜在的解决方案,主要以我们reler组的尝试为主,抛砖引玉。 希望我们微小的工作能为未来这个领域的发展提供一些新的视野。

由于篇幅,我们只能展示有限的工作,我们respect所有在这个领域作出贡献的老师同学们。感谢大家!

END

行人重识别的挑战与最新进展(35页PPT整理)

备注:reid

行人重识别的挑战与最新进展(35页PPT整理)

行人-ReID-步态交流群

行人检测、行人重识别、步态识别等技术,

若已为CV君其他账号好友请直接私信。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:[email protected]

网站:www.52cv.net

行人重识别的挑战与最新进展(35页PPT整理)

在看,让更多人看到  行人重识别的挑战与最新进展(35页PPT整理)