Appearance-and-Relation Networks for Video Classification
Appearance-and-Relation Networks for Video Classification是王利民组2017年底的发表的一篇工作。
主要工作是在3D卷积的基础上,提升了action recognition的准确率,而且没有像目前主流的two-stream方法那样使用使用光流信息,因为光流的提取速度特别慢,这是一个未来的研究趋势,更不会像IDT那套方法一样计算复杂。
虽然目前的state of art仍然是IDT那套。
话不多说,先给出王利民组的干货链接:
https://github.com/wanglimin/ARTNet
摘要
ARTNet主要是由SMART blocks 通过stacking的方法组合起来,就好像ResNet主要是由Residual blocks组合起来一样。它是一种直接输入RGB视频图像的端到端的视频理解模型。
1.介绍
这张图上从左到右,依次画出;Two-Stream,C3D和ARTNet的结构,可以看出后者对于前两者在结构上有一个很好的整合。
ARTNet是基于C3D-ResNet18实现的,训练的时候采用了TSN的稀疏采样策略。
这篇论文的主要贡献在于三个方面:第一,提出了SMART blocks块;第二,通过stacking的方法得出了ARTNet网络;第三,刷新了仅使用RGB输入的行为识别准确率。
2.相关工作
深度学习方面,主要有Two-Stream,C3D,LSTM三种方法的尝试,目前最好的是Two-Stream方法,本文看好C3D的方法,所以基于此方法做了改进。而LSTM相关的RNN方法效果暂时不明显,研究较少。
模型方面,本文的一大亮点是能量模型,使用了一种近似square-pooling的结构。与原结构不同之处在于三点:第一,从无监督到了有监督;第二,从仅有relation到有appearance和relation;第三,从单层到stacking多层。
3.Spatiotemporal特征学习
3.1Relation模型
假设连续帧x和y的信息,我们要学习位置z的信息。很自然的想到如下的模型:
这种处理是C3D中最直接的把x和y通过线性相加组合起来作为transformation code.然而这种直接相加增大了模型的复杂度,而且造成过拟合的风险。
那么,假设appearance和relation相互独立,那么就可以把它们乘起来:
这样做可以是relation更少的依赖appearance.但是会发现,参数没有变少,反而变多。
所以还要进一步的改进:
这样参数有回到了2次,但是还是不方便在深度学习框架中实现,继续改:
这个结构大家就很熟悉了,相当于C3D的平方,可以实现。
3.2 SMART blocks
这个结构大家也很熟悉,就是C3D加上relation model,其中relation model用到了上述公式实现的square-pooling,以及1*1*1的卷积实现的cross-channel-pooling,其他就是常规操作,最后fusion,concat.
3.3 ARTNet-ResNet18
这是三种模型结构,第一种是C3D-ResNet18;第二种是ARTNet-ResNet18(s),就是只在第一层conv换成smart;第三种是ARTNet-ResNet18(d),就是每一层conv都换成smart.
实现细节
训练网络:
bactchsize=256,momentum=0.9,SGD,framed大小128*170,inputsize112*112*16,初始学习率为0.1,每当验证集准确率稳定后就把学习率lr*0.1,在Kinectics数据集上训练了250000个epoch,最后一层fc的dropout ratio是0.2。
测试网络:
从整个视频中采样250个clips,具体是随机采取25个128*170*16的clips,然后10crops(5crops加上水平反转,5crops是中间加上四个角),最后取这250个的平均。
4.实验
4.1数据集
(1)Kinectics (2)UCF101 (3)HMDB51
4.2 Kinectics 实验结果
4.3 UCF101和HMDB51实验结果
4.4结论和展望
和C3D相比已经有了显著的提升,但是相比于two-stream仍然有差距,为了缩小这种差距,未来尝试更深的网络和更大的分辨率。