/每天一篇论文328/365 Learning Residual Flow as Dynamic Motion from Stereo Videos

Learning Residual Flow as Dynamic Motion from Stereo Videos

摘要

提出了一种将运动立体平台上的三维场景流分解为静止场景元素和动态对象运动的方法。我们的无监督学习框架共同考虑了摄像机运动、光流和运动物体的三维运动。三个协同网络分别预测立体匹配、相机运动和偏差流，它们代表了物体运动而非相机运动产生的光流流分量。基于刚性投影几何，利用估计的立体深度指导摄像机运动估计，利用深度和摄像机运动指导偏差光流估计。基于偏差流和景深，明确地估计了动态物体的三维景流。在KITTI数据集上的实验证明了我们的方法的有效性，并且表明我们的方法在光流和视觉里程测量任务上优于其他最新算法。

贡献

1） 我们提出了一种新的端到端无监督的深度神经网络，该网络利用立体视觉系统同时推断出摄像机运动、光流和运动物体的三维运动。
2） 基于刚体运动流和非刚体运动流的偏差，对动态物体的三维运动流进行了显式推理。我们证明了深度、姿态和流量估计网络的互补作用。
3） 结果表明，该方案在KITTI基准数据集上实现了光流量和视觉里程测量最好的结果。

方法

本文的目标是预测静止场景元素的二维刚性光流和运动对象的三维动态运动。为了在减少运动模糊度的同时达到这一目的，我们利用了一个具有预校准参数的立体视觉系统。基于射影几何，利用立体深度确定两幅图像之间的刚性光流变化。然后，提出的光流网络（ResFlowNet）恢复非刚性流，这表示刚性流和总光流之间的差异，可以归因于运动对象。在这一部分中，我们描述了用于估计刚性和残余光流、相机运动以及如何回归运动对象的三维运动的总体训练方案。

相机位姿估计前提下的3d几何投影，及投影误差

不同边界偏差系数下的深度图

结果

光流深度和物体运动的估计结果

对于物体运动的预测结果