【论文阅读】Cross-Resolution Adversarial Dual Network for Person Re-Identification and Beyond

考虑到真实场景中摄像机和目标人之间距离不同可能会带来 分辨率不匹配 的情况，会降低行人重识别算法的表现。
这篇论文提出了一种的新的生成对抗网络来解决跨分辨率的行人重识别，可以学习分辨率不变的图像表示，同时能恢复低分辨率输入图像丢失的细节，共同用于改善重识别的性能。
在五个标准行人重识别基准上的实验结果证实了该方法的有效性，尤其是在训练过程中不知道输入分辨率的情况下。
此外，两个车辆重识别基准测试的实验结果也证实了该模型在交叉分辨率视觉任务上的通用性。

从低分辨率到高分辨率，一般情况下的想法
本文的创新：

摘要

由于摄像机和相关人员之间的距离不同，分辨率不匹配是可以预期的，这将降低reid在真实场景中的性能。
我们提出了一种新的生成对抗网络来解决跨分辨率的person reid，允许查询具有不同分辨率的图像
通过对抗式学习技术，我们提出的模型在学习分辨率不变图像表示的同时，能够恢复低分辨率输入图像中缺失的细节。
所得到的特征可以共同应用于提高re-ID性能，因为它可以保持分辨率不变性和恢复re-ID导向的鉴别细节。

引入

所得到的特征可以共同应用于提高re-ID性能，因为它可以保持分辨率不变性和恢复re-ID导向的鉴别细节。
限制：
首先，每个使用的SR模型设计高档的图像分辨率由一个特定的因素。因此，这些方法需要预先确定LR查询图像的分辨率，以便应用相应的SR模型。然而，为每个可能的分辨率输入设计SR模型使得这些方法难以伸缩。
其次，在实际场景中，查询图像可以具有不同的分辨率，即使是在培训期间没有看到的分辨率。如图1的顶部所示，具有不同分辨率或不可见分辨率的查询图像将限制利用SR模型的person re-ID方法的适用性，因为不能假定输入图像的分辨率将事先已知

本文提出：
在本文中，我们提出了交叉解决对偶问题网络(CAD-Net)跨分辨率人员重新识别。CAD-Net的关键特性有两个方面。

首先，为了解决分辨率变化，CAD-Net通过对抗性学习推导分辨率不变表示。如图1底部所示，学习到的分辨率不变表示允许我们的模型处理不同的甚至是不可见的分辨率的图像 。

其次，CAD-Net学会了恢复LR输入图像中缺失的细节。再加上分辨率不变特性，我们的模型就生成了高维更可取的人员re-ID，实现最先进的性能交叉分辨率的人员re-ID。 值得注意的是，上述图像分辨率恢复和跨分辨率person re-ID是通过端到端学习的单一模型实现的。

动机来自于多尺度对抗的学习技术的语义分割和人re-ID,这已被证明有效的推导更健壮的特性表征,我们采用多尺度对抗网络对齐功能分布之间的HR和LR图像在不同的特性,导致一致的性能改进在single-scale对抗的方法。

为了缓解这个问题,我们引入一个一致性损失之间的HR空间执行一致性恢复人力资源的特征图像和相应的HR真实图片,让我们的模型学习HR更健壮的图像表示HR变化图像恢复。

通过联合利用上述方案，我们的方法进一步提高了跨分辨率人员re-ID的性能。

different：
用于学习分辨率不变表示的多尺度对抗学习。不同于我们的初步工作是在单个尺度上学习分辨率不变表示，我们在这项工作中采用了多尺度对抗性网络组件。该模型有效地协调了不同层次上的特征分布，导出了跨图像分辨率的特征表示，与单尺度模型相比，在cross-resolution-person-ID中实现了性能的提高。

HR特征空间一致性损失。为了使我们的模型能够处理高分辨率图像恢复的变化，我们引入了一个特征一致性损失，以增强恢复的HR图像与相应的HR地面真实图像的特征之间的一致性。这一损失进一步持续地提高了交叉分辨率person-re-ID在所有五个数据集中的性能

应用。与我们专注于单个任务（即交叉分辨率人re ID）的初步工作不同，我们在各种设置下通过广泛的消融研究评估我们提出的方法，包括1）交叉分辨率人re ID，2）分辨率无明显变化的人re ID（我们将此设置称为标准人re ID），3） 交叉分辨率车辆重新识别，4）半监督。

方法

为了实现交叉分辨率的人识别，我们的CRGAN同时从输入的交叉分辨率图像中学习分辨率不变的表示f2 Rh×w×d（h×w是f的空间尺寸，而d表示通道数），同时产生相关的HR图像作为解码器输出