CVPR 2018 SINT++:《SINT++: Robust Visual Tracking via Adversarial Hard Positive Generation》论文笔记
理解出错之处望不吝指正。
本文用到了变分自编码VAE和强化学习DQN,我觉得很新颖。整体架构如下图:
首先,使用VAE来生成positive sample,如上图中右下角。
然后,使用HTPN网络将得到的positive sample变得更加hard,即:添加遮挡。那么问题就来了,(1).我们要遮挡目标物体中的哪部分?(2).用哪部分去遮挡(1)中的部分?
这两个问题有一个共性,就是要locate one image region。locate的过程可以视为一个MDP(马尔科夫决策过程),MDP问题可以使用强化学习知识来解决。state就是当前得到的特征图,可选择的action如下图:
reward的设置根据预测分数的变化来给予:
trigger action的reward通过下式决定(其中是预定义好的阈值参数):