论文笔记Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer

CVPR 2020 去雾 SOTA 是
Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision arxiv链接
更多CVPR 2020论文请参考https://www.cnblogs.com/Kobaayyy/p/13163056.html

其中用到了单张图片的深度信息, 这给我们一个全新的思路.
引入深度是否可以提高下游任务的模型性能?

先上图感受一下深度加入去雾模型的效果:
论文笔记Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer
鲁迅说过:“Depth is among the most useful intermediate representations for action in physical environments” 深度是在物理环境中运动的最有用的特征之一

那么如何用深度网络学习深度呢?

这就是今天要讲的Towards Robust Monocular Depth Estimation: Mixing Datasets for Zero-shot Cross-dataset Transfer arxiv链接

我们将回答下面四个问题:

Describe what the authors of the paper aim to accomplish, or perhaps did achieve.
这篇论文作者的目标是什么，或者也许已经实现了什么。
If a new approach/technique/method was introduced in a paper, what are the key elements of the newly proposed approach?
如果文中引入了一种新方法/技术，那么这一新提出的方法/技术的关键要素是什么？
What content within the paper is useful to you?
论文中，有哪些内容对你有用。
What other references do you want to follow?
你还想关注哪些参考资料/文献？

这篇论文作者的目标是什么，或者也许已经实现了什么?

如果文中引入了一种新方法/技术，那么这一新提出的方法/技术的关键要素是什么？

数据集 : 现有的深度数据集的场景不够丰富, 不能训练出一个在任意场景下都健壮的模型. 因此作者选择结合这些数据集
但是组合这些数据集有三个挑战:

深度表达不同, 有的是0表示最近, 有的是0表示最远
部分数据集没有提供缩放信息
部分数据集提供了单张图像的相对深度(disparity), 但是跨数据集的相对深度无法直接转换

提出具有深度和偏移不变性的损失函数
统一用Monocular relative depth perception with web stereo data supervision中提出的方法, 得到每张图像的相对深度(disparity map), 然后以disparity map作为输入训练模型, 避免的上面提到的3个问题
令d为模型预测的disparity , d为groud truth disparity,
先进行一个线性变换得到d_hat和d_hat, 这个一步是为了校准不同数据集的disparity map

具体的校准参数定义如下:

标准化一下:

现在可以定义一个具有深度和偏移不变性的损失函数的通用形式:

为了增加泛化能力, 去掉d-d*距离最大的20%的像素

再加上一个正则项, 惩罚x方向和y方向上的导数过大