车辆检索“LEARNING A REPRESSION NETWORK FOR PRECISE VEHICLE SEARCH”

背景意义
精确车辆检索,给定车辆图像,寻找所有的具有相同车架号的图像,这很具有挑战性,因为不同的车具有相同的外观。论文提出了多任务学习框架RepNet,从粗粒度和细粒度学习车辆特征。此外,使用了桶搜索减少检索时间。

车牌通常作为车辆的唯一身份,但一些情况下车牌难以识别。如低分辨率图像看不清车牌,一些字符容易混淆,遮挡牌照和假牌的情况也有。因此,从外观的差别检索车辆比较实用。与人脸和行人检索相比,车辆检索更具挑战性,因为不同的车通常具有相同的外观,但是车上的一些特殊的标记,如装饰、刮痕可以用来区分一辆车。精确车辆检索不仅需要捕获粗粒度的特征,如颜色和品牌型号,而且需要更精细的特征描述车辆的特殊细节。

相关工作
车型识别模型把具有相同品牌型号的车归为一类,而不能区分具有相同车型的车。相似度约束如constrastive,triplet 损失通常用来解决这个问题,多任务学习可以用来提升性能,如softmax和constastive loss联合优化。也有方法综合低层和高层信息,以减少信息损失。这些方法的问题:(1)不同层的信息是相关的,不相干的约束不能独立对待,不同约束之间的关系模糊、不可控;(2)相似度约束和分类约束都用于最后一个FC层特征,两种约束约束了同一种事情。

分类约束用来学习车辆间共享的特征,相似度约束是为了学习每辆车的特殊信息,两种任务的交叠限制了相似度约束的性能,同时可能影响模型的收敛。如下图所示,这些模型的特征显著图与第2列列斯,车辆每部分信息的贡献相同。

车辆检索“LEARNING A REPRESSION NETWORK FOR PRECISE VEHICLE SEARCH”

论文方法
提出RepNet,卷积层后两支FC层,分别用于属性分类和相似度学习,还有一个回归层连接两个分支。属性分类学习的特征可以用来指导相似度学习,是的相似度学习忽略属性信息,关注特别的细节,如图1的第5列所示。RepNet的结构如下图所示:
车辆检索“LEARNING A REPRESSION NETWORK FOR PRECISE VEHICLE SEARCH”

回归层对特征显著度的影响如下,有回归层网络更关注细节特征:
车辆检索“LEARNING A REPRESSION NETWORK FOR PRECISE VEHICLE SEARCH”

实验结果
车辆检索“LEARNING A REPRESSION NETWORK FOR PRECISE VEHICLE SEARCH”