Towards Cross-View-Consistent Self-Supervised Surround Depth Estimation

📄 arXiv: 2407.04041v3 📥 PDF

作者: Laiyan Ding, Hualie Jiang, Jie Li, Yongquan Chen, Rui Huang

分类: cs.CV

发布日期: 2024-07-04 (更新: 2024-12-03)

备注: Accepted by IROS2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出交叉视角一致性自监督环视深度估计方法，提升重叠区域深度预测精度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督学习 深度估计 环视感知 交叉视角一致性 自动驾驶

📋 核心要点

  1. 现有自监督环视深度估计方法在融合跨图像信息时，较少考虑交叉视角约束，导致重叠区域深度预测精度较低。
  2. 论文提出一种高效且一致的位姿估计设计，并设计了密集深度一致性损失和多视角重建一致性损失，以增强交叉视角一致性。
  3. 实验结果表明，该方法在DDAD和nuScenes数据集上取得了state-of-the-art的性能，并且可以很容易地应用于其他方法。

📝 摘要（中文）

深度估计是自动驾驶的关键技术，但获取像素级别的深度真值进行监督学习具有挑战性。从连续图像进行自监督环视深度估计(SSSDE)提供了一种经济的替代方案。虽然之前的SSSDE方法提出了不同的机制来融合跨图像的信息，但很少有方法明确考虑交叉视角约束，导致性能较差，尤其是在重叠区域。本文提出了一种高效且一致的位姿估计设计和两种损失函数，以增强SSSDE的交叉视角一致性。对于位姿估计，我们建议仅使用前视图像，以减少训练内存并保持位姿估计的一致性。第一种损失函数是密集深度一致性损失，它惩罚重叠区域中预测深度之间的差异。第二种是多视角重建一致性损失，旨在保持空间和时空上下文重建之间的一致性。此外，我们引入了一种新的翻转增强方法，以进一步提高性能。我们的技术使一个简单的神经模型能够在DDAD和nuScenes数据集上实现最先进的性能。最后但并非最不重要的一点是，我们提出的技术可以很容易地应用于其他方法。

🔬 方法详解

问题定义：论文旨在解决自监督环视深度估计中，由于缺乏有效的交叉视角一致性约束，导致重叠区域深度预测精度低的问题。现有方法通常忽略了不同视角下对同一场景的观测应该具有一致性的特点，从而影响了深度估计的准确性。

核心思路：论文的核心思路是通过显式地建模和约束不同视角下的深度一致性，来提高自监督环视深度估计的精度。具体来说，通过设计新的位姿估计策略和损失函数，使得网络学习到的深度图在不同视角下保持一致，从而提高整体的深度估计性能。

技术框架：整体框架包括：1) 使用前视图像进行位姿估计，以减少内存消耗并保持位姿估计的一致性；2) 使用深度预测网络预测各个视角的深度图；3) 设计密集深度一致性损失，惩罚重叠区域预测深度之间的差异；4) 设计多视角重建一致性损失，保持空间和时空上下文重建之间的一致性；5) 引入翻转增强，进一步提高性能。

关键创新：论文的关键创新在于：1) 提出了一种仅使用前视图像进行位姿估计的策略，降低了计算复杂度，并提升了位姿估计的稳定性；2) 设计了密集深度一致性损失和多视角重建一致性损失，显式地约束了不同视角下的深度一致性，从而提高了深度估计的精度；3) 引入了翻转增强，进一步提升了模型的泛化能力。

关键设计：1) 位姿估计：仅使用前视图像进行位姿估计，减少训练内存，并维持位姿估计的一致性。2) 密集深度一致性损失：惩罚重叠区域中预测深度之间的差异，鼓励网络学习到视角一致的深度图。3) 多视角重建一致性损失：保持空间和时空上下文重建之间的一致性，进一步约束深度估计的准确性。4) 翻转增强：通过对图像进行水平翻转，增加数据的多样性，提高模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在DDAD和nuScenes数据集上取得了state-of-the-art的性能，证明了其有效性。通过引入交叉视角一致性约束，显著提高了重叠区域的深度估计精度。此外，该方法具有良好的通用性，可以很容易地应用于其他自监督深度估计方法，具有很强的实际应用价值。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、三维重建等领域。通过提高环视深度估计的精度，可以帮助自动驾驶系统更好地理解周围环境，从而提高行驶安全性。在机器人导航领域，精确的深度信息可以帮助机器人进行路径规划和避障。在三维重建领域，可以利用该方法生成更准确的三维模型。

📄 摘要（原文）

Depth estimation is a cornerstone for autonomous driving, yet acquiring per-pixel depth ground truth for supervised learning is challenging. Self-Supervised Surround Depth Estimation (SSSDE) from consecutive images offers an economical alternative. While previous SSSDE methods have proposed different mechanisms to fuse information across images, few of them explicitly consider the cross-view constraints, leading to inferior performance, particularly in overlapping regions. This paper proposes an efficient and consistent pose estimation design and two loss functions to enhance cross-view consistency for SSSDE. For pose estimation, we propose to use only front-view images to reduce training memory and sustain pose estimation consistency. The first loss function is the dense depth consistency loss, which penalizes the difference between predicted depths in overlapping regions. The second one is the multi-view reconstruction consistency loss, which aims to maintain consistency between reconstruction from spatial and spatial-temporal contexts. Additionally, we introduce a novel flipping augmentation to improve the performance further. Our techniques enable a simple neural model to achieve state-of-the-art performance on the DDAD and nuScenes datasets. Last but not least, our proposed techniques can be easily applied to other methods. The code is available at https://github.com/denyingmxd/CVCDepth.