视频自监督一. STCR: 一个基于数据增强的简单有效正则项
视频自监督一. STCR: 一个基于数据增强的简单有效正则项 （降低静态信息的影响）
Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition, https://arxiv.org/pdf/2008.02086.pdf; code;
1. Overview
本文针对视频自监督任务基于Consistency Regularization设定了一个通用/简单有效的正则项。
2. Motivation
对于Action Recognition这个task, 对比Image, Video包含的额外Temporal information扮演很重要的角色, 进年来如何从无标数据里面学习到temporal信息，从Shuffle&Learn 到 Net。我们观察到现有的模型有两个显著的问题:
(1). 3D CNN在feature encoding 的过程中部分丧失了direction information， eg. 一个强力的强监督模型仍然关于Sit/Stand Up两个动作会有很严重的混淆;
(2). 由于真实的video不可避免的存在显著的implicit bias (比如通过看到水识别游泳，看到马识别骑马)， 现有的模型很容易遇到 object 或者 background的影响， 从而损害时序信息的学习， 使得在类似场景或者有同样物体存在的时候泛化性很差。
因此，我们想让模型用自监督的方法去缓解3D Backbone存在的问题。
3. 从Consistency Regularization 讲起
Consistency Regularization 是在semi-supervised learning 里面非常典型的方法； 想法是对同一个样本 , 经过不同的 Augmentation之后模型的预测结果应该保持不变；
3. Method
Pipeline
Intra-video Mixup
Mixup 是 Image Classification 里面常见的增强范式。
其中和都是不同的样本以及其对应的标签和.
由于是在自监督的场景下，没有对应的label, 因此我们直接把一个静态帧当成noise和视频内的其它帧进行线性插值。
最终的优化目标包含两部分，逐时间维度和整个feature-level.
如何避免trivial solution
如果STCR单独优化，很容易陷入到trivial solution, 因此在单独优化的时候把spatiao-temporal transformation当作类别。去掉逆变换变为分类任务。
4.Experiment & Discussion
STCR可以单独训练也可以作为正则项引入到已有的模型里面。
可视化3D Backbone提出的特征， 从时序维度上来看，我们的模型对inverse之后的video提出的特征比backbone模型更具对称性。
从热图来看，Intrai-videoMixup 之后的模型对运动区域更敏感，一定程度上降低了background的影响。
把经过t-sne可视化之后，我们发现经过IV Mixup之后的样本在特征空间更加分散，经过finetune之后取得了更好的效果。
总结
Implicit Bias是在主流的Video数据集里都显式存在的问题，我们从去年开始都在关注解决这个问题。 此前的方法都在关注使用一个尽可能大的DataSet去构造一个尽可能强力的分类模型，而没有探索Data Augmentation带来的增益。 受启发于Consistency Regularization, 我们期望把这种Bias当成一种noise去让网络对static的信息不敏感， 最终落实到了两个简单的实现上。
很遗憾，最终提出的方法非常简单， 没有做出特别有意思的工作~