EDCF阅读笔记:Reinforced Representation Learning for High Performance Visual Tracking

前言:看完这篇文章,我感慨还是挺多的。。

先附上作者在知乎上对这篇文章的介绍吧:https://zhuanlan.zhihu.com/p/34222060 论文的介绍在文章后半部分。

这篇文章考虑的是怎么不丢失跟踪目标的细节,其实就是提高目标的判别性,Siam类方法的跟踪缺点就是判别性不强,尤其是在图像中有与目标相似的物体时,往往导致跟踪失败。
因此作者加入了Encoder-Decoder结构,通过解码出来的图像与原图像之间的误差不断缩小,达到编码器中间的输出包含目标更多的细节信息。
EDCF阅读笔记:Reinforced Representation Learning for High Performance Visual Tracking

解释下这个结构:
用的依旧是Siamese结构的思想,上面是样例图像分支,下面是搜索图像分支。
不考虑解码器的部分,两幅图像经过网络的,先利用浅层特征经过CACF后得到125*125的响应图,这个CACF在后面会将到。然后利用深层特征进行互相关运算,得到17*17的响应图,这个响应图经过双二次差值上采样到125*125,最后两幅响应图融合成最终响应,以上其实也是跟踪的过程。
作者加上了解码器(decoder),利用自编码器的思想,通过reconstruction loss不断优化,增加的这个重构约束增强了跟踪的判别性,后面的对比试验可以看出,性能提高了很多。
再来说这个CACF,参考CVPR2017年的这篇论文《Context-Aware Correlation Filter Tracking》,上下文感知的相关滤波器。
CACF的思想是在目标图像块z0的周围采样k个上下文图像块zi,这些图像块可以看做困难负样本,目的就是目标图像块有高的响应,周围图像块响应接近0:

minwZ0wy22+λ1w22+λ2i=1kZiw22

在傅里叶域有闭式解:

w^=z^0y^z^0z^0+λ1+λ2i=1kz^iz^i

作者推导使之可微,可以进行反向传播,然后就可以端到端的进行训练了。公式就不贴了。
训练就是训练这三个损失函数。

跟踪时,就可以去掉后面的解码器,高层特征的样例模板就用第一帧的信息,固定不变。浅层特征出来的滤波器w进行更新:

wt=αtw+(1αt)wt1

αt=αf(xt)/f(x1)

α开始取0.017

实验结果:
EDCF阅读笔记:Reinforced Representation Learning for High Performance Visual Tracking

这是作者提出的EDCF和SiamFC、CFNet、CACF还有自身变种的比较,EDSiam是没有加CACF,CACFNet+是没有加高层特征的互相关,CACFNet是只端到端训练了两层的网络,没有利用Encoder-Decoder结构。EDCF无疑取得了最好的成绩。
接下来是跟其他跟踪器的比较,就不贴图了。

总体来看,结构还是很新颖的,不过性能似乎跟最近的一些新出来的Siam类跟踪器有点差距。