2020 TIFS之ReID:Visible-Infrared Person Re-Identification via Homogeneous Augmented Tri-Modal Learnin

Visible-Infrared Person Re-Identification via Homogeneous Augmented Tri-Modal Learning
简述：
现有的方法通常只学习了跨模态特征，而忽略了图像层次的差异。生成图像的思路目前有些方法采用GAN生成交叉模态图像，但会破坏局部结构并引入噪声。本文通过生成的RGB图像的灰度图作为辅助，以减少RGB与IR图像的large gap。

模型：

本文框架方面通过3个3通道（RGB，Gray，IR）的分别输入到共享权重的Res50学习共有特征，重点在loss上：
1.HHI loss：同质和异质分类损失

首先是个ID loss：

对RGB和灰度做smooth L1 loss:

HHI 总loss：

2.WTDR loss：
这个loss通过同一个身份中RGB和灰度的距离小于RGB和红外这一点巧妙的对triplet loss进行了改进，其中i,j为同一ID，i,k为不同ID，所以，

带权重后：



同时，再加入了正则化，使得同一类别的不同模态的距离减小：

实验：
消融实验：

对比试验：

总结：
本文主要针对目前GAN的生成效果差的问题进行改进，同样为了生成配准图像，把中心放在了怎么处理这个生成图像的loss上，简单的灰度化后，经过3个loss：HHI loss首先起到分类作用，再减少了RGB和生成的灰度图的距离，HHI loss通过对triplet loss进行改进，将灰度图作为桥梁，巧妙了进行了一个度量学习，最后通过reg loss进一步减少了同一身份不同模态的距离。