基本信息

• 题目：Deeper depth prediction with fully convolutional residual networks
• 作者：Iro Laina 1, Christian Rupprecht 1;2 , Vasileios Belagiannis 3, Federico Tombari1;4, Nassir Navab1;2
  • 1 Technische Universitat M ¨ unchen, Munich, Germany ¨
  • 2 Johns Hopkins University, Baltimore MD, USA
  • 3 University of Oxford, Oxford, United Kingdom
  • 4 University of Bologna, Bologna, Italy
• 引用：Laina, I., Rupprecht, C., Belagiannis, V., Tombari, F., & Navab, N. (2016, October). Deeper depth prediction with fully convolutional residual networks. In 2016 Fourth international conference on 3D vision (3DV) (pp. 239-248). IEEE.
• 开源代码：https://github.com/iro-cp/FCRN-DepthPrediction

摘要

本文解决了在给定单个RGB图像的情况下估计场景深度图的问题。我们提出了一种包含残差学习的完全卷积架构，以对单眼图像和深度图之间的模糊映射建模。为了提高输出分辨率，我们提出了一种新颖的方法来有效学习网络中的特征图上采样。为了进行优化，我们引入了反向Huber损耗，它特别适合手头的任务，并且受深度图中常见的值分布的驱动。我们的模型由经过端到端训练的单一体系结构组成，并且不依赖于后处理技术，例如CRF或其他附加的优化步骤。结果，它可以在图像或视频上实时运行。在评估中，我们表明，与现有技术相比，所提出的模型包含的参数更少，所需的训练数据更少，而在深度估计方面却胜过所有方法。代码和模型是公开可用的。

网络结构

上采样模块

试验结果

结论

在这项工作中，我们提出了一种从单一图像进行深度估计的新颖方法。与典型的CNN方法不同，该方法需要多步过程来完善其最初的粗略深度预测，而我们的方法则基于强大的单尺度CNN体系结构，该体系结构遵循残差学习。拟议的网络是完全卷积的，包括向上投影层，可用于训练更深的配置，同时大大减少了要学习的参数数量和所需的训练样本数量。此外，我们说明了向上卷积层的一种更快，更有效的方法。不仅对典型的l2损失进行了优化，而且还对berHu损失函数进行了优化，从而对不同的建筑组件进行了全面评估，这表明它更适合于地面真实深度图的基础价值分布。总而言之，从我们的贡献中得出的模型不仅比现有方法更简单，可以在更少的时间内用更少的数据进行训练，而且可以获得更高质量的结果，从而使我们的方法在两个基准数据集中达到了最新水平，用于深度估计。