2019 TCSVT之ReID：SDL: Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-id
SDL: Spectrum-Disentangled Representation Learning for Visible-Infrared Person Re-identificatio
当前的问题及概述：
现有的RGB-IR ReID模型侧重于通过共享特征嵌入、子空间学习或对抗性学习来弥补RGB与IR图像之间的差距。然而，这些方法并没有明确地忽略与ReID无关的频谱信息。此外，对抗性学习方法的收敛性较差。
为了提取这些特征，我们提出了SDL网络，它可以提取特征并消除频谱特征。我们的网络有两个分支，谱相关和谱无关分支。在谱无关的分支中，我们利用identification loss LP和disentanglement loss LD来学习相关的谱无关特征。在谱相关分支上，我们利用identity-dispeller loss来欺骗身份分类器，使其主要学习频谱相关信息。整个网络以端到端的方式进行训练，最大限度减少频谱信息，最大限度提高身份信息。
从上图可以看到：问题的提出与频谱解纠缠表示学习(SDL)的目标。xRGB和xIR表示共享特征，vRGB表示RGB光谱特征，vIR表示红外光谱特征，u表示谱无关表示。目的是从xRGB和xIR中分别去除与谱相关的vRGB和vIR信息，以学习u。
模型及loss：
本文中Spectrum意为光谱、波长或者频谱。
SDL network，整个网络由baseline、扩展的全连通层和三种新loss函数，这三部分组成。将FC4层的输出作为频谱解纠缠特征u，将FC3层和FC5层的输出分别作为RGB光谱特征vRGB和IR光谱特征vIR。identification loss用于特征u。identity-dispeller loss设计用来欺骗身份分类器，使其主要学习频谱相关信息，disentanglement loss提取身份特征并去除频谱特征。模块“BN”表示批处理规范化，模块“L2N”表示L2规范化。
可以看到将feature分为谱相关分支（FC4分支）得到u（可以理解为共有特征）与谱无关分支（FC3分支）得到VRGB/VIR（可以理解为特有特征），并使得两者相加尽可能为xRGB/xIR。
2.1Baseline Network
图中阴影部分为baseline部分，选用Visible thermal person re-identification via dual-constrained top-ranking文中提取两个模态特征的框架及top-ranking loss，有两个优势：一个是端到端训练有很明显的优势，第二是双路径网络提供了一个来自特定身份信息从而隔离频谱信息的框架.
2.2Architecture
我们随机抽取N−RGB和N−IR图像，从而得到一批2N输入图像。xRGB和xIR通过top-ranking loss记为LB进行训练。将两个FC1层的批处理归一化输出连接在一起，作为FC4层的输入，我们称之为谱无关分支。FC4层连接到一个身份分类器，FC4的目标是学习解谱特征和识别鉴别特征，FC3和FC5也使用disentanglement loss进行训练。disentanglement loss的学习目标是将xRGB和xIR分解为vRGB、vIR和u。
2.3Spectrum Dispelling Branch（谱无关分支）
该分支的目标是学习能够有效执行RGB-IR ReID的识别鉴别和频谱分离特征(u)。为达到这一目的，利用identification loss LP和disentanglement loss LD(文章此处应该写错了)对谱消解支路进行优化，其中Lp loss：
2.4Spectrum Distilling Branch（谱相关分支）
该分支的目标是学习与频相关的信息并删除与身份相关的信息。对于RGB光谱特征vRGB和IR光谱特征vIR，我们需要训练光谱提取分支来欺骗身份分类器。
这个是本文最大的创新点，首先定义ground truth的身份分布，它对所有身份都是常数，等于1/NID，其中NID是训练步骤中的身份数。使用相同的u分类器（FC3和FC4）参数θP预测RGB的频谱特性vRGB和IR光谱特征vIR的身份分布，使得RGB和IR的feature尽可能区分开，同时，FC3不包含谱无关特征和identity特征，所以FC3不包含身份信息，希望FC3对每个身份的概率为1/NID，把这个身份判别的任务交给谱无关的FC4去作。
identity-dispeller loss combines为：
其中，偏移量bp和权重wp参考FC4后的参数:
2.5Spectrum Disentanglement
谱相关特征只包含人的特定线索，即RGB光谱特征vRGB和IR光谱特征vIR包含人的特定光谱信息。当我们把谱相关特征vRGB与vIR和谱无关特征u结合起来时，应重新构造原始特征x（baseline feature）。即（此处可以使用其他运算，但经过测试加法运算效果最好）：
因此，disentanglement loss：
2.6overall objective function：
实验：
数据集:
SYSU-MM01和RegDB
消融实验：
与其他方法比较: