2020 ArXiv之跨模态ReID：Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-id

Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification
简述：
本文的主要目的是为了减少不同光谱的摄像机产生的模态差异问题。本文提出了一种新的多光谱图像生成方法，利用生成的样本帮助网络找到鉴别信息，从而实现对同一个人的跨模态重新识别。下图可以看到，SYSU的红外图和RegDB的红外图是明显不同的。

解决上述问题的目的是为了解决跨模态ReID的另一个挑战是人内(同一人图像)的差异往往大于人间(不同人图像)的差异，因此设计了一个单流神经网络结合上述方法来提取人图像的紧凑表示，称为跨谱双子空间配对(CDP)模型，下图表示了本文为了解决如下问题：

同时提出了一种新的采样策略：Dynamic Hard Spectrum Mining (DHSM)。

模型：

本文有两个点，一个是输入部分，本文采用one-stream输入，但在输入时进行了RGB分通道与IR对应通道（通道扩展到对应通道数）进行比较，本文实验了3种方法，a是0填充，将RGB转为灰度图x并加入0填充与IR图像及0填充进行分通道提取共同特征，但由于0填充没有明显约束效果最差；b是通过将RGB图像扩展为R、G、B三通道分别于扩展通道后的IR图像的相对应的3个节点进行特征提取；c是将每一个通道的RGB以及灰度图x的4通道做选择，选择IR图像最匹配的通道节点进行输入,每个节点层1的权重都需要处理所有红色,绿色,蓝色,灰色,和红外通道,这迫使网络判别所有光谱中存在的cross-spectrum特性。如下图：

经试验表明，c的效果最好:

第二个点提出了一种新的采样策略：Dynamic Hard Spectrum Mining (DHSM)，由于手动确定哪一个频谱容易学或难学是困难的，并且难度水平可能因模型结构或参数设置的不同而有所不同。因此，提出了一种动态硬谱挖掘(DHSM)策略来自动评估不同谱的难度水平，并赋予较难谱更大的采样概率。
最后，附上与其他算法的比较：

总结：
单模态（RGB）ReID问题已经在探讨如何解决不同摄像机带来的cross-spectrum问题，本文第一次在跨模态ReID中提出并解决这一问题，最核心的问题在于本文将RGB3通道图像拆解成R、G、B同时接入了灰度图X，也就是4通道输入分别于IR的单通道图像不同比较，可以想到，每一类（这里只有SYSU和RegDB两类数据集）的IR图像具有不同的光谱特征，同时类内也可能存在差异，所以本文通过选择RGBX四通道与IR最为匹配的通道生成成对的图像，然后一起输入到one-stream网络中。可以说本文是在zero-padding这篇文章进行了深入的研究，加入了选择机制，进而解决了同一身份特征差异大的问题。