跨模态ReID论文总结1：概述论文

概述论文共有两篇，都是2017年提出的，作为由单模态ReID到多模态的转型，两篇论文既总结了单模态论文的一些方法，并在多模态中尝试使用，并且有效的提出了由CNN网络对特征进行提取，特别是two-stream和SYSU数据集的提出，更是为后来的文章做好的铺垫。
1.Person Recognition System Based on a Combination of Body Images from Visible Light and Thermal Cameras(2017 sensors)
详细解读：https://blog.****.net/qq_41967539/article/details/104617417
算法：

概括：
本文是第一篇涉及跨模态方向的论文，并没有提及思路框架，只是罗列了单模态ReID的一些思路方法迁移，尝试看能不能解决多模态问题，首先本文第一步是人物检测，并没有提及具体算法，第二步是特征提取，首先介绍了单模态较为常用的HOG算法，HOG算法是将图中每个子块的每个像素的梯度信息构造梯度直方图，再将这些梯度直方图串联起来形成最终的图像特征，第二种方法同样是单模态的MLBBP算法，该方法是在每个像素的描述符中将周围像素和中心像素比较而形成的数字，在光照改变的情况下，描述符同样只依赖中心像素及其中为的纹理信息，第三种是CNN，以后的跨模态论文都是沿用这一思路，第三步是PCA，测量图像间的相似度，减少冗余信息。本文相当于是单模态论文的总结和多模态论文的提出，可圈可点。
2.RGB-Infrared Cross-Modality Person Re-Identification(2017 ICCV)
详细解读：https://blog.****.net/qq_41967539/article/details/104092980
算法：

概括：
由于本文是第一个提出跨模态ReID的论文，对于网络结构，本文提出的深度补零结构并不是很完整，且mAP和r1性能指标都很低，也没有提出很明确的ranking loss和Identity loss作为训练loss，但是这篇文章作为cross-module ReID的开山之作，同样有可圈可点之处，首先，本文提出的SYSU-MM01被后来的文章作为标准数据集，其次本文提出的deep zero-padding网络框架作为第一个跨模态ReID同样可圈可点，该框架是将主流的one-stream框架和two-stream框架进行合并的结果，不同节点对于不同模态会选择性失活，最终将无论是RGB3通道图像还是IR的单通道图像，都归一为双通道，然后进行同一结构、参数共享的特征训练，可以从实验结果看出，虽然性能不高，但也比单模态的方法在跨模态ReID中应用的效果有了大幅提升。