GroCo: Ground Constraint for Metric Self-Supervised Monocular Depth
作者: Aurélien Cecille, Stefan Duffner, Franck Davoine, Thibault Neveu, Rémi Agier
分类: cs.CV, cs.AI, cs.LG, cs.RO
发布日期: 2024-09-23
💡 一句话要点
GroCo：提出基于地面约束的自监督单目深度估计方法，提升尺度恢复和泛化性。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目深度估计 自监督学习 尺度恢复 地面约束 泛化能力
📋 核心要点
- 现有单目深度估计模型在不同相机姿态和数据集上的泛化能力较弱，尤其是在自监督学习场景下。
- 本文提出了一种新的地面区域约束，专门为自监督学习设计，以准确恢复尺度并保证深度预测与地面先验的一致性。
- 实验表明，该方法在KITTI数据集上优于现有尺度恢复技术，并显著提升了模型在未见数据集上的泛化能力。
📝 摘要（中文）
近年来，单目深度估计取得了显著进展，但预测度量深度（metric depth）的模型在不同相机姿态和数据集上的泛化能力仍然不足。虽然最近的监督方法通过在推理时利用地面先验信息来缓解这个问题，但由于尺度恢复的额外挑战，它们在自监督设置中的适应性受到限制。为了弥补这一差距，本文提出了一种专门为自监督范式设计的地面区域约束。该机制不仅能够准确地恢复尺度，还能确保深度预测与地面先验之间的一致性。实验结果表明，我们的方法在KITTI基准测试中优于现有的尺度恢复技术，并显著提高了模型的泛化能力。这种改进可以通过其在不同相机旋转下的更稳健的性能以及在先前未见过的驾驶数据集（如DDAD）中的零样本条件下的适应性来观察到。
🔬 方法详解
问题定义：现有的自监督单目深度估计方法在尺度恢复和泛化能力方面存在不足。尤其是在面对不同的相机姿态和数据集时，模型的性能会显著下降。监督学习方法虽然可以利用地面先验信息，但难以直接应用于自监督场景，因为自监督学习本身就面临尺度模糊的问题。
核心思路：本文的核心思路是利用地面先验信息，在自监督学习框架下，通过引入一个专门设计的地面区域约束，来同时解决尺度恢复和泛化性问题。该约束强制模型预测的深度与地面先验保持一致，从而实现准确的尺度恢复。
技术框架：整体框架基于标准的自监督单目深度估计流程，包括图像输入、深度预测、位姿估计和光度重建损失。关键在于引入了一个额外的地面约束模块。该模块首先检测图像中的地面区域，然后计算这些区域的深度预测值，并将其与预期的地面深度值进行比较，从而生成地面约束损失。总损失函数是光度重建损失和地面约束损失的加权和。
关键创新：最重要的创新点在于提出了一个适用于自监督学习的地面约束。与监督学习方法不同，该约束不需要额外的真实深度标签，而是通过自监督的方式学习地面先验。此外，该约束的设计考虑了尺度恢复问题，能够有效地将深度预测的尺度与真实世界尺度对齐。
关键设计：地面区域的检测可以使用现有的语义分割模型或者基于几何特征的方法。地面约束损失可以使用L1损失或L2损失，用于衡量预测深度与地面深度之间的差异。为了平衡光度重建损失和地面约束损失，需要仔细调整它们的权重。此外，网络结构的选择也会影响最终的性能，例如可以使用ResNet或DenseNet作为深度预测网络的骨干网络。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在KITTI数据集上显著优于现有的自监督尺度恢复方法。此外，该方法在DDAD等未见过的驾驶数据集上表现出良好的零样本泛化能力，证明了其在不同场景下的鲁棒性。具体而言，该方法在尺度恢复的准确性方面取得了显著提升，并且在不同相机旋转角度下保持了稳定的性能。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。通过提高单目深度估计的准确性和泛化能力，可以提升自动驾驶系统的环境感知能力，使机器人能够更好地理解周围环境，并为AR应用提供更精确的深度信息，从而改善用户体验。
📄 摘要（原文）
Monocular depth estimation has greatly improved in the recent years but models predicting metric depth still struggle to generalize across diverse camera poses and datasets. While recent supervised methods mitigate this issue by leveraging ground prior information at inference, their adaptability to self-supervised settings is limited due to the additional challenge of scale recovery. Addressing this gap, we propose in this paper a novel constraint on ground areas designed specifically for the self-supervised paradigm. This mechanism not only allows to accurately recover the scale but also ensures coherence between the depth prediction and the ground prior. Experimental results show that our method surpasses existing scale recovery techniques on the KITTI benchmark and significantly enhances model generalization capabilities. This improvement can be observed by its more robust performance across diverse camera rotations and its adaptability in zero-shot conditions with previously unseen driving datasets such as DDAD.