1 引言

1.1 分类

根据输入： 单图、多图和视频重建
任何重建方式深度估计很重要，单图的深度估计较难，多图和视频就类似于SLAM，根据前后帧和位置迭代估计最优结果

1.2 应用

有增强现实AR：场景比较多，主播、家庭装修、办公等等，是一个比较有前景的应用
AR / AR glass

2 重建方法

2.1 单图

流程：单图输入–>深度估计–>重建
难点：准确深度估计太难

2.1.1 传统方法

较多的依赖于相机，比如有深度图的相机

2.1.1.1 无深度输入

人为先验信息输入：几何特征、颜色梯度和纹理特征进行重建，主流是先验的模板
边缘、角点和兴趣点的监测：Canny 边缘监测、Harris角点监测、SIFT特征监测

全景图重建

2.1.2 有深度输入

点云到重进
Automated 3D Reconstruction of Interiors from Point

** 消费机深度相机**
link

2.1.2 深度学习结合

** 全景图**
CVPR 18 paper: “LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image”

有姿态估计
Total3DUnderstanding: Joint Layout, Object Pose and Mesh Reconstruction for Indoor Scenes from a Single Image

多平面指导单目深度估计
From Big to Small: Multi-Scale Local Planar Guidance for Monocular Depth Estimation

PlaneRCNN
PlaneRCNN: 3D Plane Detection and Reconstruction from a Single Image

2.2 多图

多图和视频的重建涉及到多视图几何

2.1.1 传统方法

2.1.2 深度学习结合

---

Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching

---

Learning multiview 3D point cloud registration

---

Du^2Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels

无监督
Unsupervised Monocular Depth Estimation with Left-Right Consistency
这篇论文提出了一种不需要基准深度数据就能进行单个图像深度估计的卷积神经网络。作者提出了一种网络体系结构，该体系结构执行端到端的无监督单目深度估计，而训练损失函数会强制网络内部左右深度的一致性。

2.3 视频

SLAM: 包括多目和单目

2.1.1 传统方法

2.1.2 深度学习结合

2.1.2.1 单目

CodeSLAM - Learning a Compact, Optimisable Representation for Dense Visual SLAM
该文是帝国理工学院戴森机器人实验室在2018年在CVPR上发表的论文，并且是一篇Best Paper
主要贡献

1. 通过对灰度图的自动编码器进行调节，推导出地图的紧凑表示。
2. 实现了一个实时的单目SLAM系统，可以实现相机运动和地图的同时优化。

本文主要是在自动编码器上下功夫，并结合图像几何信息实现了单目相机的密集SLAM。对于一张rgb图像，利用一个U-net去提取特征及估计深度的不确定性，并利用另外一个变分自动编码器以编码和解码一个初始的深度值，然后联合两帧图像的相关信息来优化相机位姿及进一步估计深度。

无监督
Unsupervised Monocular Depth and Ego-motion Learning with Structure and Semantics(2019.6)

2.1.2.1 多目

视频

3 补图

** sparse to density**

** 点云生成**
PF-Net: Point Fractal Network for 3D Point Cloud Completion