Learning Monocular Visual Odometrythrough Geometry-Aware Curriculum Learning

Learning Monocular Visual Odometrythrough Geometry-Aware Curriculum Learning

总结 这是一篇用IMU监督训练连续帧之间的位姿变换的R，T的文章，算是camera pose estimation的一个亮点，可以将该训练网络融合到双目相机，或者单目相机深度估计和ego-motion 估计之中

这是一篇深度网络和IMU联合的深度VO文章，核心思想就是用IMU实际数据训练深度VO，改变了之前深度位姿估计依赖于深度估计的现状。
网络估计误差和IMU数据误差构建。下面公式显示这个有界的损失，其中n是图像的数量。Lrel是测量连续帧之间的误差，Lcom它包括在小窗口上解释错误的合成损失。系数α用于平衡这两个项。
两个误差之间的系数a的取值

文章中用FlowNet2-C 和Flownet2-S作为连续两帧的enconde网络，在位姿回归的时候用LSTM得到位姿6-DoF camera poses .这是一种比较常用的传感器数据进入到网络里的一种方法。如下图，

结果