在差异空间进行无监督域适应的行人再识别技术

文章出处：ECCV2020。

Code is available on GitHub link: https://github.com/djidje/D-MMD

摘要：随着深度模型的发展，ReID技术的性能得到大幅提升，然而面临现实世界的视频分析和监控应用，ReID技术的落地依然有着较大的挑战。考虑到源于和目标域上普遍存在的数据分布的差异，而且源域数据有标签，而目标域数据无标签，所以很难在目标域上直接使用训练好的模型获得较高的识别准确率。无监督域适应（UDA）的深度学习模型通常应用在特征表示空间。我们认为用于度量学习的pair-wise匹配器，例如，行人再识别中的孪生网络，UDA的目的在于对齐domain之间的成对差异（pair-wise dissimilarity）,而不是对齐特征表示。而且，差异表示更适合设计开放集中的ReID系统，也就是源域和目标域的行人身份不一致。在此文中，作者提出了一个Dissimilarity-based Maximum Mean Discrepancy(D-MMD) loss。D-MMD loss用来对齐成对的距离，且可以在一个相对较小的batchsize上用提度下降实现优化。从行人再识别的角度来讲，D-MMD loss的计算是相对直接的，因为由行人追踪器提供的追踪信息将距离向量标记为类内和类间（within-class (within-tracklet) or between-class (betweentracklet)）。这样，则可以为目标域的样本估计出近似的潜在分布，用于计算成对距离，进而优化D-MMD损失。大量的实验证明该方法有效。代码已经开源。

文中的一个重要概念：特征表示和差异表示。（feature representation and dissimilarity representation）

特征表示，指的是图像样本输入进特征提取网络，得到的特征向量

差异表示，指的是图像得到的特征向量，然后利用成对的特征向量计算得到的距离向量

Motivation

现有的无监督域适应行人再识别方法大致可分为两类：（1）聚类算法在特征空间中对目标域数据打上伪标签。（2）对齐源域数据和目标域数据的特征表示（通过最小化一些域差异或对抗损失）。这些基于特征的方法适用于闭集场景。

在公共特征空间（common feature space）中，一个维度代表着从一个样本中提取得到的一个特征值（即，一个向量代表这个样本所有的特征值）。与其不同的是，在差异空间（dissimilarity space）中，每一个维度表示两个样本在某一特征上的差异（即，一个向量指的是两个样本的所有特征值的差异）。所以差异空间中元素只有两个标签，即同类和异类。

考虑到行人再识别以及无监督域适应行人再识别的特殊性，本文提出了在差异空间上的UDA方法。即在差异空间上实现的MMD损失。

Method

该方法的网络架构如下所示

方法包含两个阶段：有监督阶段和无监督阶段

有监督阶段，利用有标签的源域数据，采取常用的有监督方法实现行人再识别，通过优化交叉熵损失和三元组损失，最终得到一个较为鲁棒的特征提取器M。

无监督阶段，在有监督阶段训练得到的特征提取器M上，输入source和target数据，得到其特征，再在此计算本文提出的D-MMD损失，更进一步优化网络。

D-MMD的计算（本文重点）：

整个训练过程的算法流程如下：

Contribution

实验效果：