2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi

AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identification
简述
现有的ReID任务都是在基于同一个人都是相同的衣服进行了,本文为了解决这一问题,提出了换衣人集(COCAS),同时,提出了一种双分支网络——生物特征-服装网络(BC-Net),该网络能够有效地将生物特征和服装特征结合起来,在我们的设置下进行re-id识别。
2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi

模型
COCAS数据集:
2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi

生物特征-服装网络(BC-Net):一个分支提取人体生物特征,另一个分支提取服装特征:
2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi

服装特征分支,首先选用faster RCNN作为Clothes Detector,检测衣服Mask,再利用人的解析模型LIP来获得人物图像的衣服bounding box(作为ground truth),而不是人工标注。两部分做L2 loss得到完整的衣服特征;人体生物检测分支主要为了抑制抑制服装和背景特征的同时强调生物特征,通过对feature map的特征进行softmax得到生物特征mask,将得到的mask再与输入的feature map进行对应点相乘操作,得到最终的feature map,再与服装分支的特征fusion,进行分类和度量操作。
实验
消融实验:
2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi

展示了两个分支得到的特征部分:
2020 CVPR 之ReID:AD-Cluster: Augmented Discriminative Clustering for Domain Adaptive Person Re-identi

总结
本文首先提出了一个现在ReID及其所有跨模态任务的最主要的问题点,就是目前绝大多数数据集和框架都是基于同一个人只有一种衣服的问题,这样其实是不可能落地的任务,本文首先是提出了一个数据集,COCAS数据集是主要针对的是换装数据集,同时本文针对换装任务,提出了第一个换装框架BC-Net,通过两分支分别提取ID特征和衣服特征,本文ID特征分支提取的mask,从操作来看,个人感觉生成了空间权重图,但是不一定可以提取到ID特征。