基本情况

• 题目：Depth Estimation via Affinity Learned with Convolutional Spatial Propagation Network 

  • 通过卷积空间传播网络进行相似性学习进行深度估计

• 作者：Xinjing Cheng⋆, Peng Wang⋆ and Ruigang Yang

  • Baidu Research, Baidu Inc.

• 引用：Cheng, X., Wang, P., & Yang, R. (2018). Depth estimation via affinity learned with convolutional spatial propagation network. In Proceedings of the European Conference on Computer Vision (ECCV) (pp. 103-119).

• 开源代码：https://github.com/XinJCheng/CSPN

• KITTI深度测试数据集：http://www.cvlibs.net/datasets/kitti/eval_depth.php?benchmark=depth_completion

摘要

单幅图像的深度估计是计算机视觉中的一个基本问题。本文提出一种简单而有效的卷积空间传播网络（CSPN）来学习深度预测的相似矩阵。具体地说，我们采用了一种有效的线性传播模型，该模型通过递归卷积运算来进行传播，并通过一个深卷积神经网络（CNN）来学习相邻像素之间的相似度。我们将所设计的CSPN应用于给定单个图像的两个深度估计任务：

• （1）细化现有的现有技术（SOTA）方法的深度输出；
• （2）通过在传播过程中嵌入深度样本来将稀疏深度样本转换为密集深度图。

第二项任务的灵感来自于激光雷达的可用性，它提供稀疏但精确的深度测量。我们在NYU v2[1]和KITTI[2]数据集上对所提出的CSPN进行了实验，结果表明，与以往的SOTA方法相比，我们提出的方法不仅提高了深度图的质量（例如深度误差减少30%），而且提高了深度图的速度（例如，速度提高了2到5倍）。

贡献

1.我们提出了卷积空间传播网络（CSPN），它比以前的SOTA传播策略更有效，更准确地进行深度估计[14]，而且不会牺牲理论上的保证。
2.通过将提供的稀疏深度应用于传播过程？，我们将CSPN扩展为将稀疏深度样本转换为密集深度图的任务。 它确保将稀疏输入深度值保留在最终深度图中。 它实时运行，非常适合机器人技术和自动驾驶应用，这些应用可以将LiDAR的稀疏深度测量与图像数据融合在一起。

方法

空间传播网络(SPN)与卷积空间传播网络(CSPN) 背景知识Learning Affinity via Spatial Propagation Networks

原则上，CSPN也可以使用和积（sum-product）算法从循环信念传播（loopy belief propagation）中得出[46]。 但是，由于我们的方法采用线性传播（linear propagation），因此，当在图形模型中只是成对电势（pairwise potential）和L2重建损失（L2 reconstruction loss）的特例时，效率很高。 因此，为了使其更准确，我们在扩散过程领域中将我们的策略称为卷积空间传播。

网络结构

结果

数据集 NYU V2上对比

数据集KITTI上

参考

• 14. Liu, S., De Mello, S., Gu, J., Zhong, G., Yang, M.H., Kautz, J.: Learning affinity via spatial propagation networks. In: Advances in Neural Information Processing Systems. (2017) 1519–1529