百度飞浆论文复现 Representation Flow for Action Recognition

近期参加了百度飞浆的一个论文复现营,收获很多,百度确实很强,尤其是近年来在人工智能领域,产生了一大批创造性的成果,诸如飞浆框架。以前只是听说过,并没有真正使用,这次用起来发现挺好用的,API设计很合理,使用文档也很全面,而且在AIStudio上也有很多课程,对初学者很友好,非常容易上手。

这次论文复现我选择了视频分类上的一篇文章,因为我本人所在课题组也是做视频动作检测这一块的。

这是2019 CVPR视频动作识别领域的最新论文,出自印第安纳大学的AJ Piergiovanni 和 Michael S. Ryoo之手。

在视频分类中,最常用的双流网络有着较高的精度,但是光流的计算非常耗费时间,需要很强的计算能力或者耗费很长的计算时间,因此产生了对光流直接进行学习,通过图片用网络模型直接计算出一个类似于光流的结果作为光流,这样可以极大的节省因提取光流耗费的时间,又能达到类似于光流的精度。

文章受光流算法启发提出可以学习运动表征的表示流卷积层,该表示流层对于光流迭代的优化的所有参数都可以通过和其他卷积网络一起进行end-to-end的学习得到,并且实现了动作识别性能的提升。

文章也通过叠加多重表示流层,提出了FOF(flow of flow)、FCF(flow-conv-flow)的概念。

实验表明,本文提出的表示流实现了计算速度和性能的最优。

等我精读之后再来补充文章。

百度飞浆论文复现 Representation Flow for Action Recognition

百度飞浆论文复现 Representation Flow for Action Recognition