Towards Sharper Object Boundaries in Self-Supervised Depth Estimation

📄 arXiv: 2509.15987v2 📥 PDF

作者: Aurélien Cecille, Stefan Duffner, Franck Davoine, Rémi Agier, Thibault Neveu

分类: cs.CV, cs.AI, cs.RO

发布日期: 2025-09-19 (更新: 2025-11-17)

备注: BMVC 2025 Oral, 10 pages, 6 figures

💡 一句话要点

提出基于混合分布的自监督深度估计，显著提升物体边界清晰度

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督学习 深度估计 单目视觉 混合分布 边界清晰度 3D场景理解 方差感知损失

📋 核心要点

  1. 现有单目深度估计方法在物体边界处深度模糊，影响3D场景理解的准确性。
  2. 论文提出将像素深度建模为混合分布，通过混合权重来表达深度不确定性，实现自监督下的清晰边界。
  3. 实验表明，该方法在KITTI和VKITTIv2数据集上显著提升了边界清晰度，并改善了点云质量。

📝 摘要（中文）

精确的单目深度估计对于3D场景理解至关重要，但现有方法通常模糊物体边界的深度，引入虚假的中间3D点。虽然获得清晰的边缘通常需要非常细粒度的监督，但我们的方法仅使用自监督即可产生清晰的深度不连续性。具体来说，我们将每个像素的深度建模为混合分布，捕获多个合理的深度，并将不确定性从直接回归转移到混合权重。这种公式通过方差感知损失函数和不确定性传播无缝集成到现有流程中。在KITTI和VKITTIv2上的大量评估表明，与最先进的基线相比，我们的方法实现了高达35%的边界清晰度提升，并改善了点云质量。

🔬 方法详解

问题定义：现有自监督单目深度估计方法在物体边界处存在深度模糊的问题，导致生成的3D点云质量下降，影响后续的3D场景理解任务。现有方法通常依赖于像素级别的深度回归，难以处理边界处深度的不确定性，需要更精细的监督信息才能获得清晰的边界。

核心思路：论文的核心思路是将每个像素的深度建模为一个混合分布，而不是直接回归一个单一的深度值。这种混合分布能够捕获多个可能的深度值，从而更好地表示边界处的不确定性。通过学习混合分布的权重，模型可以将不确定性从深度回归转移到权重学习上，从而在自监督的框架下实现清晰的深度边界。

技术框架：该方法可以无缝集成到现有的自监督深度估计流程中。整体框架包括：1) 使用现有的自监督深度估计网络生成初始深度图；2) 将每个像素的深度表示为一个混合分布，例如高斯混合模型；3) 使用方差感知损失函数来训练网络，该损失函数考虑了深度估计的不确定性；4) 通过不确定性传播来优化混合权重，从而获得更准确的深度估计。

关键创新：该方法最重要的技术创新点在于将像素深度建模为混合分布，从而能够显式地表示深度估计的不确定性。与传统的直接回归方法相比，该方法能够更好地处理边界处深度值的多义性，从而在自监督的框架下实现清晰的深度边界。此外，方差感知损失函数和不确定性传播机制也进一步提升了深度估计的准确性。

关键设计：论文使用了高斯混合模型来表示像素深度分布，混合成分的数量是一个关键参数，需要根据具体场景进行调整。损失函数方面，使用了方差感知损失函数，该损失函数根据深度估计的方差来调整损失权重，从而更加关注不确定性较高的区域。网络结构方面，可以使用现有的自监督深度估计网络，例如ResNet或DenseNet，并在网络的输出层添加一个混合权重预测模块。

📊 实验亮点

实验结果表明，该方法在KITTI和VKITTIv2数据集上显著提升了物体边界的清晰度，最高可达35%。与state-of-the-art的自监督深度估计方法相比，该方法生成的点云质量更高，更接近真实场景。消融实验验证了混合分布建模和方差感知损失函数的有效性。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、增强现实等领域。清晰的深度估计能够提升3D场景理解的准确性，从而改善自动驾驶车辆的感知能力，提高机器人的环境交互能力，并增强AR/VR应用的沉浸感。未来，该方法有望应用于移动设备的深度感知，实现更智能的图像处理和3D建模。

📄 摘要（原文）

Accurate monocular depth estimation is crucial for 3D scene understanding, but existing methods often blur depth at object boundaries, introducing spurious intermediate 3D points. While achieving sharp edges usually requires very fine-grained supervision, our method produces crisp depth discontinuities using only self-supervision. Specifically, we model per-pixel depth as a mixture distribution, capturing multiple plausible depths and shifting uncertainty from direct regression to the mixture weights. This formulation integrates seamlessly into existing pipelines via variance-aware loss functions and uncertainty propagation. Extensive evaluations on KITTI and VKITTIv2 show that our method achieves up to 35% higher boundary sharpness and improves point cloud quality compared to state-of-the-art baselines.