Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(多伪正则化标签(MpRL)、GAN)

类别(Reid、GAN、semi-supervised 

主要思想:由vanilla GAN生成的样品通常没有标签。因此,本文提出了一个称为多伪正则化标签(MpRL)的虚拟标签,并将其分配给生成的图像。

考虑到生成样本和原始样本的区别,MpRL使用了不同的预定义训练类(trainning class)的贡献。基于贡献的虚拟标签被自动分配到生成的样本中,以减少训练中的模糊预测。与此同时,MpRL只依赖预定义的培训类而不使用额外的类。此外,为了减少过度拟合,将正则化的方法应用于MpRL。

相关工作:label smooth regularization for outliers (LSRO) 

生成的样本被归到已有类中,而不是被认为是新类)该方法将虚拟标签分配给生成的样本,并在所有预定义的培训类上使用统一的label distribution。统一的分布同等的看待了所有预定义类的贡献更具体地说,如果预定义的类的数量是K,那么每个类的贡献就等于1/K。在这个设计中,LSRO展示了两个不良特征:1)在生成的样本空间中,所有生成的样本共享相同的虚拟标签,2)在真实的样本空间中,所有预定义类与生成的样本的共享相同。

这样的缺点是会扩大噪声的干扰。因此需要为每个生成的样本分配不同的标签。

本文贡献

1.为了减少训练中不明确的预测,我们使用MpRL根据预先定义的培训类的不同预测概率,将每个生成的样本分配给基于贡献的虚拟标签。

2.由于生成的样本和真实的样本之间存在偏差,所以在MpRL中建立了一个字典,它记录了已有类之间的贡献。对于生成的样本,所有预测的概率都被迭代地保留,以在训练中产生贡献。字典将被动态更新,以影响在预定义类上生成的样本的从属关系。此外,还采用正则化的方法对学习过程进行规范化,以减少过度拟合。

首先解释什么是半监督方法:

将strongly标注的数据和weakly标注(甚至unlabel)的数据一起共同训练。

传统伪标签方法的问题

新生成的样本被归到已有类中,而不是被认为是新类。为此,one-hot的伪标签[26]可以在不使用额外类的情况下为它们分配一个虚拟标签。one-hot的伪标签是将其最大预测概率的class作为它的虚拟标签。在训练中,这个虚拟标签被动态地分配给未标记的样本,相同的样本可能收到的标签不同。使用one-hot的伪标签,经过几次训练之后,一个生成的样本可能将被放到一个特定的预定义的类中,这可能导致过度拟合。

为了解决这个问题,Zheng等[59]引入了一个虚拟标签LSRO,它使用一个统一的标签分布在生成的样本上,将网络正则化训练并应用到re-id。

Multi-pseudo Regularized Label

通过这张对比图可以清晰的看到本文方法在给一张图上打标签时,不是像LSRO均等程度的打标签。而是根据不同类程度的分布给予不同的权重a打标签。

a是根据计算是某类的概率的排序来给的权重,是该类的概率越大,它的标签的权重a就越大

Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(多伪正则化标签(MpRL)、GAN)

真实数据和生成数据采用交叉熵loss来训练:

Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(多伪正则化标签(MpRL)、GAN)

其中cita用来normalisze分布。

对于y=0所有都是真实数据公式8其实等于softmax loss.

y=1,时才是MPRL公式。

此外。MPRL还分为动态,静态设置分布的方式。这里就不说了,具体看论文。

实验结果

baseline有两种:一种是identif network那种,一种是siamese网络判断是否是同一个人那种,如下图。

Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(多伪正则化标签(MpRL)、GAN)

可见与baseline对比,有+5.91%的提升.(下图baseline 是identif network)

Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(多伪正则化标签(MpRL)、GAN)

Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(多伪正则化标签(MpRL)、GAN)

最后叠加一通算法,结果比较也能达到业界先进水平。

Multi-pseudo Regularized Label for Generated Samples in Person Re-Identification(多伪正则化标签(MpRL)、GAN)