Vehicle Re-identification with Viewpoint-aware Metric Learning 读书笔记

Author

Ruihang Chu, Yifan Sun

Conference

ICCV 2019

Motivation

• 对输入的图片用网络判断视角，对于不同视角的车辆，用不同的网络提取特征，计算样本间距离。

Contribution

• 提出一种新颖的viewpoint-aware metric learning approach
• 针对相同视角样本对和不同视角样本对提出空间内约束和跨空间约束

Framework

训练阶段

• 对view predictor单独训练，在正式训练和测试的时候，固定view predictor的参数。
• 上面的S-view branch计算相同视角图片的距离，具体为相同视角正样本对的距离$D_s(P_s^+)$Ds​(Ps+​)和相同视角负样本对的距离$D_s(P_s^-)$Ds​(Ps−​)，用Triplet Loss Function做约束，要求在相同视角下负样本相对于正样本到anchor的距离大于阈值$\alpha$α，损失函数为$L_s=max\{D_s(P_s^+)-D_s(P_s^-)+\alpha,0\}$Ls​=max{Ds​(Ps+​)−Ds​(Ps−​)+α,0}
• 下面的D-view branch计算不同视角图片的距离，具体为不同视角正样本对的距离$D_d(P_d^+)$Dd​(Pd+​)和相同视角负样本对的距离$D_d(P_d^-)$Dd​(Pd−​)，用Triplet Loss Function做约束，要求在不同视角下负样本相对于正样本到anchor的距离大于阈值$\alpha$α，损失函数为$L_d=max\{D_d(P_d^+)-D_d(P_d^-)+\alpha,0\}$Ld​=max{Dd​(Pd+​)−Dd​(Pd−​)+α,0}
• 在integrated distance matrix中，用跨域的Triplet Loss Function做约束，要求在相同视角下的负样本相对于不同视角下的正样本到anchor的距离大于阈值$\alpha$α，损失函数为$L_{cross}=max\{D_d(P_d^+)-D_s(P_s^-)+\alpha,0\}$Lcross​=max{Dd​(Pd+​)−Ds​(Ps−​)+α,0}
• 最终的损失函数为$L=L_s+L_d+L_{cross}$L=Ls​+Ld​+Lcross​

测试阶段

测试时先将query和gallery输入到view predictor中预测视角，如果是相同视角的话，就用S-view branch计算距离，如果是不同视角的话，就用D-view branch计算距离。

Experiment