使用paddlepaddle复现representation_flow

本博客记录了百度特别推出的全球顶会深度学习论文复现营中representation_flow复现的过程及心得。
复现过程:
1.阅读论文(本博客主要记录与复现相关的内容,详细的论文内容后期会出相应博客):
论文的核心网络rep_flow_layer:
使用paddlepaddle复现representation_flow
这是本篇论文的灵魂,理解该网络的推理过程需要结合光流TV_L1的数学公式,但在复现过程中我们可以借鉴作者的源码,因此不需要花太多精力进行这部分的复现。
主要网络结构flow_2d_resnets(复现要求2d):
使用paddlepaddle复现representation_flow

作者的实验结果,这部分很重要,不仔细读很容易在复现过程中走弯路,以下是几个复现过程中比较重要的实验结果:
使用paddlepaddle复现representation_flow
效果最好的是加载block3后面
使用paddlepaddle复现representation_flow
FCF的网络结构效果最优,复现过程中可直接使用这种结构
使用paddlepaddle复现representation_flow
最终的验收标准77.2
2.代码部分:
pytorch

paddlepaddle:待开源
3.趟过的坑
(1)论文主要实验结果应该都是使用224的图片尺寸得出的,但在作者源码上均是112的,这部分不改的话很难达到作者的精度。
(2)前期的训练效果与作者相差过大,主要是没看到作者最佳结果是使用FCF得来的
(3)数据增强,虽然作者源码只使用了一种数据增强(随机裁剪),但是我们可以尝试添加一些其他的数据增强方法(很容易爆内存)