Pose-Guided Feature Alignment for Occluded Person Re-Identification阅读笔记

Paper：https://dblp.uni-trier.de/pers/hd/l/Liu:Ping

Code：http://link.zhihu.com/?target=https%3A//github.com/lightas/ICCV19_Pose_Guided_Occluded_Person_ReID

 

摘要：行人经常被各种各样的障碍所阻挡。对于以前的ReID方法，大都是要么忽略此问题，要么基于极端假设来解决它。为了缓解遮挡问题，我们通过检测遮挡区域，并在特征生成和匹配过程中去除遮挡区域。在此论文中，提出了Pose-Guided Feature Alignment (PGFA，姿态引导特征对齐)的新方法，利用姿态将有用信息从遮挡中分离出来。在提取特征阶段，我们的方法是利用人体关键点坐标来生成注意力图。生成的注意力图指示了特定的身体部位是否遮挡，并引导我们的模型关注没有遮挡的区域。在匹配过程中，我们将全局特征图划分为多个部分，并使用姿态信息来表示那些局部特征属于目标行人。只有可见的区域会被用于计算相似度距离。此外，我们还建立了一个大规模的数据集来缓解ReID的遮挡问题，Occluded-DukeMTMC是目前最大的行人遮挡数据集。通过在遮挡和无遮挡的数据集上进行实验，我们方法均取得了相当优异的结果。

 

知识点解析：

Partial Re-ID和Occluded Re-ID问题：前者的query为遮挡图像而gallery均是完整行人图像且不存在遮挡。后者为query为遮挡图像而gallery既存在部分遮挡图像又存在完整图像。

Occluded-DukeMTMC数据集：论文提出了一个目前最大的遮挡数据集。其中训练集为702个人共15618张图像，query为519个人2210张图像，gallery为1110个人17661张图像。这是目前最为复杂的遮挡ReID数据集，其中存在视角和多张障碍物，如汽车、自行车、树木和其他人。

Methodology：论文提出的方法FPGA共包含两个分支--Pose-Guided Global Feature Branch和Partial Feature Branch。论文以resnet-50为backbone，其中去除了GAP和分类层，并将res_conv4_1的stride降为1，来扩大最终提取特征图的分辨率，正常通过backbone得到特征图为（C, H/32, W/32），现在为（C, H/16, W/16），在较大的特征图上，目标行人的信息和遮挡信息在广阔的空间维度上更容易分离。然后，将backbone提取的特征图同时输入到两个分支中。a）Partial Feature Branch：此分支完全类似PCB（均是Yi Yang老师的组）。即将特征图硬性划分为水平6块，进行GAP池化降维为256的特征向量进行分类，使用交叉熵损失进行监督。Pose-Guided Global Feature Branch：此分支的输入除共享特征图外，还采用姿态估计器从行人图像中检测人体的关键点（N=18）坐标和置信度。根据设定的阈值来筛选各个区域是否存在遮挡，得到mask特征图，进而和共享特征图相乘，得到消除遮挡区域的特征图（18*h*w和2048*h*w-->18*2048），利用GMP得到2048维的特征向量。另外在共享特征图上进行GAP得到2048维的特征向量，将以上两个特征向量进行concat再降维（4096-->256）得到256维的特征向量进行分类，使用交叉熵损失进行监督。以上即为算法流程。具体参照下图：

Representation Matching：论文的query和gallery的相似度距离计算和其他的有很大不同。论文在进行相似度计算时，分别计算

Pose-Guided Global Feature分支提取的特征的相似度距离和仅包括未遮挡对应区域的Partial Feature分支的相似度距离，然后进行规范化，即两者之和除以（未遮挡的水平块个数+1）。具体公式和可视化如下图所示：

实验结果：论文在遮挡数据集进行验证结果均优于对比的算法而且提高挺多，但是在无遮挡数据集上低于PCB，猜测姿态预测器的原因。结果如下：

周郎有话说：论文缓解遮挡的方法，还是挺容易理解。利用姿态预测器得到未遮挡区域的mask掩码，最终得到去除遮挡区域的特征图，此过程也可以理解为注意力机制，对未遮挡区域增大更多的关注。现在觉得业界对行人重识别研究逐渐向特征难点转移。