Joint 3D Scene Reconstruction and Class Segmentation

摘要

图像分割和从图像进行密集3D建模都代表了固有的不适定问题(ill-posed problem)。因此，需要强大的调节器(regularizers)来限制解决方案的“过于嘈杂”(too noisy)。不幸的是，这些先验通常在某些区域中产生过分平滑的重建和/或分割，而在其他区域中它们却无法充分约束解决方案。在本文中，我们认为图像分割和密集的3D重建可为彼此的任务提供有价值的信息。因此，我们提出了一个严格的数学框架来制定和解决联合分割和稠密重建问题。图像分割提供了几何线索，围绕这些线索，表面取向(surface orientations)更可能出现在空间中的某个位置，而密集的3D重构通过将标记从2D图像提升到3D空间，为分割问题提供了合适的正则化。我们展示了如何从训练数据中学习基于外观的线索和3D表面定向先验(3D surface orientation priors)，然后将其用于特定于类的正则化。在几个真实数据集上的实验结果凸显了我们联合公式化(joint formulation)的优势。

介绍

尽管近年来已经取得了显着进步，但是图像分割和从图像进行密集的3D建模仍然是本质上不适的问题。解决这种不适的标准方法是通过引入相应的先验来规范解决方案。传统上，在图像分割方法中强制执行的先验是完全在2D图像域中声明的（例如，对比敏感的空间平滑度假设），而用于基于图像的重构的先验通常会以3D形式，生成分段的平滑表面作为其解决方案。在本文中，我们证明了联合图像分割和密集3D重建对这两项任务都是有益的。虽然在文献中已经观察到并利用了用于分割和3D重建的联合公式的优点，但我们的主要贡献是引入了严格的数学框架来制定和解决此联合优化任务。我们扩展了体块场景重建方法(volumetric scene reconstruction methods)，将感兴趣的体块分割成已占用和*空间区域，应用到为体素分配对象类或*空间标签的体块分割框架中。一方面，这种联合方法非常有益，因为表面元素的关联外观（以及可能的语义类别）会先于影响空间平滑度。因此，由图像外观引导下的特定于类的正则化器(a class-specific regularizer)，可以自适应地增强空间平滑度和3D表面的首选方向。另一方面，密集重建的模型会引起图像分割，保证图像分割仅对应于3D中具有几何意义的对象。因此，分割结果在多个图像上是基本一致的。