2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification

Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
当前的问题及概述
虽然针对差异性局部特征对ReID任务是有效的,但它们仅限于成对的被标记数据大间隙上进行训练,但在其他小间隙的不相似部分获取起来成本较大。如下图:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
本文提出了一个基于patch的无监督学习框架来克服这个问题,以便从patch而不是整个图像中学习识别特征,大大减少了计算复杂度和成本。
模型及loss
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
本文提出的PatchNet主要由一个backbone和一个patch generation network (PGN)组成。首先使用随机图像转换生成正样本,接下来,用patch generation network (PGN)为每个feature map生成M个patch,该网络可以分为3个部分,分别是localization network (LN)、patch sampling grid和sampler。最后通过patch-based discriminative feature learning loss (PEDAL)将拉近相似的patch,分开不同的patch通过image-level patch feature learning loss (IPFL)将拉近正样本,分开负样本。
2.1Patch Generation Network :
首先,LN由一个卷积层和两个全连接层组成。 LN输入feature map并预测M空间位置的一组仿射变换参数Θ=[θ1…θm,.,θM],每个预测θm转换参数用于计算sampling grid,这是一个点集的输入特性映射并通过sampler为每个图像得到M个patch。
2.2loss:
2.1Patch-based Discriminative Feature Learning
本文提出了一种无监督patch学习方法——patch-level discriminative learning,目的是在特征空间中将相似的patch拉近,将不相似的patch拉远,下图可以看到,其中ab为将不同ID的相同部分pull,不同部分push,而c说明了不同patch时,在特征空间中直接将相似的图像拉到一起,则具有不同身份的视觉上相似的人图像会被拉得更近,从而模糊了人图像的身份信息:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
其中,xm i表示在一个小批处理中第i个图像的第m个patch的特征,Wm代表这些所有特征的集合,训练时,每张图片的输入都会对对未标记的数据集进行更新:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
其中,PEDAL代表了pull similar patches Kmi更接近xmi,目的是使得模型可以学习如何将那些视觉上相似的patch映射得更近,从而为这些相似的patch挖掘出更多视觉上一致的线索,具体PEDAL为:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
2.2.2Image-level Patch Feature Learning
主要是通过triplet loss最小化类内间隙,同时最大化类间间隙:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
其中,本文使用循环排序方法,如下图,通过遍历寻找hard negative sample(第一个),通过找到的负样本和已有的正样本进行训练。
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
2.2.3总loss:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
实验

数据集:Market-1501, DukeMTMC-reID

与其他框架比较:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
消融实验:
2019 CVPR:Patch-based Discriminative Feature Learning for Unsupervised Person Re-identification
总结
本文同样是通过对样本进行分patch的思路训练的,通过基于patch的无监督学习框架减少计算量和成本,本文最大的亮点的生成patch的方式和提出PEDAL对patch进行pull和push,首先提出的PGN是通过backbone提取的feature map输入并预测空间位置,每个预测的参数经过采样生成不同的patch,其次是loss,一个是针对patch的PEDAL通过无监督方式将视觉上相似的patch聚合,不相似的分开,以及一个针对image的IPFL通过循环排序找到正负样本,然后将正样本聚合,负样本分开。