光流估计FlowNet V2

    FlowNet V1是利用深度学习来解决光流问题,其速度达到了实时的要求,但效果还是不如最优的传统方法,所以FlowNet V2的出现,牺牲了一部分速度,但大大的提高了计算光流的效果,如下图所示:

光流估计FlowNet V2

该网络的架构还是采用coast_to_fine 的stack net,其stack了FlowNetC和两个FlowNets,

(1)首先,输入image1和image2,输出光流图,利用光流图,warp image2,得到warped图,由image1减去image2,得到Brightness Error图,接着,image1,warped,image2,flow 和Brightness Error五副图 ,作为FlowNetS的输入,同理再通过另一个FlowNets,输出FlowMagnitude,flow和brightness error。

(2)为了解决微小的移动光流,FlowNet V2还设计了FlowNet-SD 模块,来提取微小移动光流的特征。

 (3)最后,在经过(1)的输出,(2)的输出和Image1三部分作为最后的特征,并进行融合,作为最后的输出。