Hetero-Center Loss for Cross-Modality Person Re-Identification阅读笔记

论文题目：Hetero-Center Loss for Cross-Modality Person Re-Identification
来源：Neurocomputing
动机：对于跨模态reid，大多数的研究都是关注于提高类间的特征差异去解决问题（也就是提高不同ID行人图片之间的差异型），而很少关注于跨模态问题中类内的相似性（跨模态同ID图片之间的相似性）。因此，本文作者着力于减少cross-modality问题中类内部的变化。
解决方法：1、Hetero-Center loss(HC loss)通过约束两种不同模态之间的类内中心距离来监督网络学习跨模态的不变信息。2、提出了一种高性能的网络结构Two-Stream Local Feature Network(TSLFM),第一次尝试学习跨模态的局部特征。
方法实现：

• Hetero-Center Loss(HC loss)
  跨模态的reid作为一种验证问题，通过计算从网络提取到的特征之间的相似性来匹配两个模态的pedestrian images。因此网络训练的目的就是扩大类间差异，提高类内跨膜相似性，也就是让特征尽可能的包含modality-shared information,以弥补两个模态之间的差异。交叉熵损失可以提取特定模态的特有特征进行ID分类，比如对RGB模态提取衣服的颜色信息。但是不同模态的颜色信息又不同，容易改变，而且提取颜色信息作为区分特征又和提高跨模态类内相似性的目的相悖，因此，和大多数传统的损失函数一样，交叉熵损失并不能满足提高跨模态类内相似性的要求。而这也就是本文HC loss所要达到的目的。
  
  上图中，不同的颜色代表不同的ID，三角形圆形分别代表从两个模态提取到的特征信息，红色形状代表各自的特征中心。HC loss的目标就是减少同一ID特征中心之间的距离。公式如下：
  
  其中C代表中心距离，U代表ID数。加上HC loss的实验效果如下：
  

• Two-Stream Local Feature Network
  借鉴了单模态reid中切分局部特征的方法，对两个模态都进行了局部特征的提取。
  
  实验结果：
  
  这篇论文中的HC loss函数考虑到跨模态类内相似性，缩小不同模态相同ID行人图片的特征差异，以达到更好的聚类效果。同时其网络模型借鉴单模态reid的局部特征方法，对每个模态进行局部特征的提取从而细化行人特征。以上便是这篇论文的两个主要工作。