ECCV 2016 Online multi-target tracking with strong and weak detections 阅读笔记
论文主页：http://www.eecs.qmul.ac.uk/~andrea/eamtt.html
预备知识
PHD-PF(Probability Hypothesis Density Particle Filter)
摘要
本文在概率假设密度粒子滤波框架中，设计了一个能同时利用高置信度和低置信度目标检测的在线多目标跟踪跟踪器。高置信度目标检测用于传播标签和目标初始化，低置信度目标检测只用来支持标签传播，例如跟踪已存在的目标。另外，我们在预测阶段之后马上进行数据关联（early association），以节省在标签阶段的巨大计算开销，例如聚类。最后，考虑到目标观测中的透视变形，再进行采样。跟踪器平均每秒执行12帧。本文的算法在MOT2015,2016数据集中，在跟踪精确度、漏报数、速度方面表现良好。
强、弱目标检测
- 首先准备一个目标检测集，要求这个集合没有漏检，但可以有许多错检。这样就可以先用非最大化抑制结合发生重叠的检测框，形成新的目标检测集zk。然后再进行强弱分类，其中分类的阈值可以通过在训练集上以一定标准学习得到。强目标检测很大可能是正确的目标(true positives)，用于轨迹初始化和跟踪现存目标。弱目标检测可能是错检(false positives)，用于跟踪现存的目标，以缩短预测时间和维持跟踪的低不确定性。
- 目标检测：
依赖角度的预测
- 运动状态：
- 预测步骤（假设目标的运动状态是互相独立的）：
其中，
，Nk是额外独立的高斯变量噪声，与上一帧跟踪框成比例。
- 当目标离摄像头较远，目标以匀速运动时将产生相对较小的外观变化。考虑到这种透视变化的影响，我们改进了式（4），然后将Nk表示成相对摄像头的距离函数。
- 目标加速变化、含噪声的检测以及摄像头的移动都会对预测造成或多或少的影响。为了解决这些问题，我们对过去[t-M,t-1]这个时间窗内的M个状态取平均，而不是只依赖过去几个时间。因此可以得到能通过过去M帧平均速率动态更新位置和速率：
-
，其中Lk-1是已存在的粒子个数。
标签
Early association(EA)
- PHD-PF在没有标签（id）下可以估计每个目标的状态。后验概率可以由此估算：
-
，其中θ（·）是克罗内克函数，输入值相等时输出1，否则输出0
- 为了解决PHD-PF缺少id的问题，文章中提出了三种相关解决办法，但通病是计算复杂，并且可能造成估计误差。为了避免这些问题，本文将流程中的连接阶段提前进行。
- 我们使用匈牙利算法将强、弱目标检测连接到预测状态，并称该阶段为EA。它的特点是在更新和重采样阶段之前就进行连接。连接损耗：
，其中dl，ds分别是计算位置和跟踪框间的欧氏距离。Ql是图像的对角线（如最大位置变化），Qs是图像的面积（如最大大小变化）。注意，当两者不相似时，我们通过对归一化的距离相乘来进行惩罚，而不是对它们取平均。例如，两目标在场景中远离彼此，但是形状上相近的情况。
- 当一个轨迹没有被连接到任何目标检测时，那么将使用已存的粒子进行状态预测。如果轨迹在一段时间（V帧）内没有被分配到任何的目标检测，那么在EA前就会丢弃，并且它的粒子会逐渐减为0。
- EA允许跟踪器产生新粒子，这些粒子可以继承它们连接状态的属性，或者产生新id。
继承性
- 强目标检测会在现存的状态周围产生新粒子，这些粒子是根据重要函数，从估计状态中独立建模生成的：
-
基于目标检测大小或视频帧率，协方差矩阵会动态更新。
-
每个新粒子有一个权重。
- 新粒子的属性继承自它们所连接的预测状态：位置和跟踪框大小来自目标检测，速率和id来自连接的状态。
使用混合高斯模型作为重要性函数，从目标检测中对位置和跟踪框大小进行采样。
∑k是一个会随着时间变化的标准差矩阵，它定义了目标检测跟踪框和新生粒子权重的关系，这些值可以由训练集学习得到。以上方法可以在产生新粒子时，解决透视变形的问题。
速率，id由轨迹继承得来。
- 由Fig.3可以看到，弱目标检测对跟踪效果的影响。
初始化
- 在EA阶段之后，没有得到连接的弱目标检测被丢弃，而强目标检测则被留下来用于初始化新粒子。式（10）可以调节新目标粒子应该在哪个位置出现。
再根据式（14）和式（11），得到参数具现化的式（16）。
- Fig.4展示了最右边初始化目标的例子。这里对原文有个疑问：“The target with identity number 2 is localized with a weak detection. The weak detection in this case is a false positive that is discarded because it is not associated with any predicted states.”实际上id为2的目标不是错检，是真实存在的目标，不应该被丢弃。我认为原文的意思应该是，因为这个是正确的目标，且轨迹已经存在了，所以不进行初始化（？）
依赖角度的更新，重采样和状态估计
- 当新目标检测产生后，对应的粒子权重需要重新计算，用于更新估计。
-
，其中pM是漏检概率，kk(·)是目标检测zk的聚类密度。
-
，其中gk(·)是计算位置和跟踪框相似性的概率函数，∑k由式（14）得到，它用于调节粒子与目标检测间位置和跟踪框的关系。举例来说，当目标粒子远离摄像头时，它会比离得近的粒子扩散得少，由于角度问题，如Fig.5.
- 更新结束后，重采样可以帮助避免粒子退化问题。标准多项式采样可以将粒子根据它们的权重，逐帧分别按比例区分开。由于新生粒子通常拥有更小的权重，新目标不会因为在重采样过程中反复的删除操作而重新初始化。为了使新生粒子能随着时间增大权重，它们将和现存的粒子分开来重采样，使用多级多项式重采样的方法独立进行。
-
最终，每个状态由所有共享相同id的重采样粒子取平均求得。
实验结果与分析
- 检测器融合了Discriminatively Trained Deformable Part Models (DT-DPM)、Scale Dependent Pooling (SDP)、Aggregate Channel Features(ACF)，在INRIA (ACF-I) and Caltech (ACF-C)数据集上训练生成。通过奖惩制度，均衡化监测分数，交集并集阈值处理等操作，取得最终检测结果。
- 本文在MOT15、MOT16训练集上训练学习生成参数，然后再MOT15、MOT16测试集上进行测试。
- 本文算法EA-PHD-PF(Priv)，FN和ML都较低，原因是当强目标检测丢失时，不单单只依靠预测来定位目标，还因为弱目标检测鲁棒地支持了目标跟踪；IDS较高，是因为我们只通过目标检测的位置和跟踪框大小来进行跟踪，并没有使用到任何的外观模型来区分目标及其周围其他目标或背景，因此在人群密集场景中ID交换更加频繁，如Fig.6。
- Fig.7展示了使用public检测集和private检测集的不同跟踪效果。
- 作者在论文最后提出，未来一步工作将结合使用外观特征例如颜色分布直方图，来减少轨迹分段现象。