【Person Re-ID】Beyond Part Models: Person Retrieval with Refined Part Pooling
转载地址：https://zhuanlan.zhihu.com/p/31947809
论文链接：Beyond Part Models: Person Retrieval with Refined Part Pooling
当前利用 part-level feature 做re-id 的方法大致分为两类：
1. 利用在其他数据集上训练好的 pose estimation 模型 unsupervised transfer 到 re-id 数据集上得到 local part 的定位，然后基于local parts 提取 part-level features。
2.不使用额外的类似于 pose estimation 的模型，而是用统一的分块方式，（比如给定一张行人图像，将图像均匀分割为固定的p个horizontal stripes）或者采用 attention 机制去locate 等。
使用第一种方法虽然可以显式的定位 local parts，但是也要忍受 transfer 过程由于 datasets bias 引入的误差。当然如果定位带来的提升大于引入误差导致的性能降低，整体也是可以接受的。这篇文章第一部分PCB模型属于第二类方法，使用得是均匀划分。对不同part用不同loss去训练。对于均匀分割或者其它统一的分割，不同图像在同一part可能因为没有对齐出现不同的语意信息。对此，作者提出了Refined Part Pooling 对统一分割进行提纯，增强 within-part 的一致性，这也是本文的一大亮点。
Method
- PCB结构：
- 去掉Resnet50 global average pooling及以后的部分。
- 将最后一层feature map 分成 p个horizontal stripes。分别对p个horizontal stripes做global average pooling就得到了p个局部特征。
- 因为 Resnet50 最后一层feature map的通道数为2048，作者又用1x1 conv将其降到256维。
- 接着用p个n（训练集ID数目）分类softmax作为分类器进行训练。损失函数使用交叉熵损失。
- 测试时分别串联向量g和h作为行人图像的特征表示。
- PCB细节：
- 为了丰富特征粒度，参考 SSD 和 R-FCN，作者去掉了 Resnet50 最后一次 down-sampling。
- 图像 resize 到 384x128。
- horizontal stripes 的个数 p 取6。
- 对比了使用单损失和多损失的性能。使用单损失函数时，对 p 个 h 求平均作为图像的特征表示。
- 对比了 p 个 softmax 前一层 FC 共享参数的性能。
-
RPP motivition: 作者将 average pooling 前后的向量做最近邻（
与
），注意到真实的边界并不和统一划分的边界重合，很显然这也是统一划分最大的弊端之一。
- RPP结构
- 作者在最后一层 feature map 后面训练了一个 part classifier。part classifier 使用的是线性层 + softmax，参数记为 W。
- 接着将 average pooling 改为向量的加权和，权值即分类器的后验概率。
- RPP的训练：RPP 只有一项参数 W，训练分三步：
- 训练 PCB 至收敛。（这一步引导训练的重要性以及 step3 内在的思想见作者评论补充）
- 将 average pooling 替换为 part classifier。
- 固定其它参数训练 W 至收敛。
- 放开全部参数，fine tune。
Experiments
- Datasets：Market-1501，DuckMTMC-reID，CUHK03 (new protocol)
- setting：single-query，without re-ranking
- 结论：
- 相比 IDE，PCB 的 mAP 提升8.9-15.3%
- RPP 对 PCB 的 rank-1 提升 1.5-3.1%，mAP 提升 3.1-4.2%
- 多损失比单损失提升明显，mAP 提升约 10-15%
- p 个分类器不共享参数相比共享参数提升 mAP 2.4-7.4%
- 关于图像分辨率以及去掉 Resnet50 最后一次 down-sample 的实验
- 对 horizontal stripes 数目 p 的讨论
- PCB 引导训练的重要性讨论以及与另一篇基于 attention 机制方法的对比