CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

  理解出错之处望不吝指正。

  本文中提到,待跟踪物体周围的环境对跟踪性能有很大的影响。如果当前周围特别杂乱,想要完成高质量的跟踪,context信息就显得十分重要了。作者提出了CA模型(其实可以当做一个模块,因为可以将其加入任何CF based tracker),可以在CF tracker中显示的结合global context。

  本文CF和传统CF的对比图如下:

CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

 

  •   回顾传统CF

  目标函数:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这里CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记表示经过循环移位得到的矩阵,我们使用CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记表示给定的image patch(即CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记的第一行)。

  原始域:

    使梯度为0,可解的封闭解:CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记,在傅里叶域可以快速实现矩阵的转置,我们可在傅里叶域得到:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这里的CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记代表傅里叶变换,CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记代表共轭。

    检测时如下(CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记代表下一帧的image patch,CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记代表循环矩阵):

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

  对偶域:

    通过使CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记,可得封闭解:CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记,在傅里叶域:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    检测时如下:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

  循环矩阵恒等式(下文会用到):

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

 

  •   本文中的CF

  •   单通道特征时:

  目标函数:

    CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    其实本文创新点就在于这个目标函数,下面解释一下它。这里CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记我们前面解释过了,表示对于给定的image patch CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记经过循环移位得到的矩阵。那么CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记呢?对于每一帧,我们在CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记周围进行采样(具体的采样策略在文末会有介绍),得到CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记(其实就是将他们当做困难负样本去训练模型的鲁棒性),我们将他们CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记个称为context patch。对于每个context patch,进行循环移位得到CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    对于CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记在损失函数中的贡献我们可以一目了然,就是想让他们的响应越小越好。其实可以将它们使用其他的正则项形式加入目标函数,为什么选择了上式中的呢?作者说:这样我们学到的是让context patch的响应比image patch的响应低,而不是想让context patch的响应变为0。

  原始域:

    首先我们可以将目标函数进行一下变化(好巧妙啊),令:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这样,目标函数就可变为:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    另其梯度为0,可求得封闭解:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    使用类似于传统CF中的方法,在傅里叶域的封闭解为:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    检测时和传统CF的一样:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

  对偶域:

    在原始域中CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记的封闭解的形式和标准岭回归一样,所以我们可得封闭解:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    使用循环矩阵恒等式可以得出傅里叶域的解:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这里的向量CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记经过如下计算得到:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    由于每一个向量CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记都是一个CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记维向量,且CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记中的所有块都是对角矩阵,我们可以将CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记的计算分割为CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记个矩阵进行并行计算:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    检测时:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

  •   多通道特征时:

  目标函数:

    在单通道特征时,CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记的大小是CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记,其中CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记代表的是一个image patch和CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记个context patch。

    对于多通道特征图,我们用大小为CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记的矩阵CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记代替CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记,这里的CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记代表特征通道数,也就是说,矩阵CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记的行代表patches,列代表features。

    目标函数变为:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

  原始域:

    和前文一样,通过使梯度为0可得:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    使用循环矩阵恒等式得到:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这里的CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记由下式计算得到:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这里也可以使用上文中提到的分块矩阵并行计算。

    检测时,几乎和传统CF中一样,只不过CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记的维度要翻m倍。

  对偶域:

    首先得到封闭解:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    使用循环矩阵恒等式得到:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这里的向量CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记通过下式计算得出:

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

    这里也可以使用上文中提到的分块矩阵并行计算。

    检测时(化简后最终得到):

      CVPR 2017 CA:《Context-Aware Correlation Filter Tracking》论文笔记

 

  采样策略

  在那些在响应图中远离峰值响应值也很大的位置进行采样,目的是降低这些位置的响应值。