BenchDepth: Are We on the Right Way to Evaluate Depth Foundation Models?

📄 arXiv: 2507.15321v1 📥 PDF

作者: Zhenyu Li, Haotong Lin, Jiashi Feng, Peter Wonka, Bingyi Kang

分类: cs.CV

发布日期: 2025-07-21

备注: Webpage: https://zhyever.github.io/benchdepth

💡 一句话要点

提出BenchDepth基准，通过下游任务评估深度基础模型，避免对齐偏差。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度估计 深度基础模型 基准测试 下游任务 模型评估

📋 核心要点

  1. 现有深度估计基准依赖对齐指标，引入偏差，影响深度表示的公平比较。
  2. BenchDepth通过下游任务评估深度基础模型，避免了对齐操作，更贴近实际应用。
  3. 该基准测试了八个SOTA模型，分析了关键发现，为深度模型评估提供新思路。

📝 摘要（中文）

深度估计是计算机视觉中一项基础任务，应用广泛。深度学习的最新进展催生了强大的深度基础模型（DFMs），但由于现有协议的不一致性，对其进行评估仍然具有挑战性。传统的基准测试依赖于基于对齐的指标，这些指标会引入偏差，偏袒某些深度表示，并使公平比较复杂化。在这项工作中，我们提出了BenchDepth，一个新的基准，通过五个精心选择的下游代理任务来评估DFM：深度补全、立体匹配、单目前馈3D场景重建、SLAM和视觉-语言空间理解。与传统的评估协议不同，我们的方法基于DFM在实际应用中的实用性来评估它们，绕过了有问题的对齐程序。我们对八个最先进的DFM进行了基准测试，并对关键发现和观察结果进行了深入分析。我们希望我们的工作能够引发社区对深度模型评估的最佳实践的进一步讨论，并为深度估计的未来研究和进步铺平道路。

🔬 方法详解

问题定义：现有深度估计模型的评估主要依赖于传统的基准测试，这些基准测试通常采用基于对齐的指标（alignment-based metrics）。这种评估方式存在固有的问题，即对齐过程本身会引入偏差，使得评估结果偏向于某些特定的深度表示方法。此外，这种评估方式也使得不同模型之间的公平比较变得更加困难，因为对齐过程可能会放大或掩盖模型本身的性能差异。因此，如何设计一个更加客观、公正且能反映模型实际应用能力的评估基准，是当前深度估计领域面临的一个重要问题。

核心思路：BenchDepth的核心思路是通过下游代理任务（downstream proxy tasks）来间接评估深度基础模型（DFMs）的性能。这种方法的关键在于，它避免了直接对深度图进行对齐和比较，而是将深度估计作为解决下游任务的一个中间步骤。通过观察DFM在这些下游任务中的表现，可以更真实地反映其在实际应用中的价值。这种设计思路的优势在于，它不仅可以避免对齐偏差，还可以评估DFM的泛化能力和鲁棒性。

技术框架：BenchDepth的整体框架包含五个精心挑选的下游代理任务：深度补全（depth completion）、立体匹配（stereo matching）、单目前馈3D场景重建（monocular feed-forward 3D scene reconstruction）、SLAM和视觉-语言空间理解（vision-language spatial understanding）。对于每个任务，研究人员首先使用DFM生成深度图，然后将这些深度图作为输入，传递给相应的下游任务模型。最后，通过评估下游任务模型的性能指标，来间接评估DFM的性能。这种框架的模块化设计使得研究人员可以方便地添加或替换下游任务，从而扩展BenchDepth的评估范围。

关键创新：BenchDepth最重要的技术创新点在于其评估范式的转变。与传统的基于对齐的评估方法不同，BenchDepth采用了一种基于下游任务的评估方法。这种方法不仅可以避免对齐偏差，还可以更真实地反映DFM在实际应用中的价值。此外，BenchDepth还提供了一个统一的评估平台，使得研究人员可以方便地比较不同DFM的性能，并促进深度估计领域的研究进展。

关键设计：BenchDepth的关键设计在于五个下游任务的选择。这些任务涵盖了不同的应用场景和深度估计的需求，可以全面地评估DFM的性能。例如，深度补全任务可以评估DFM在处理稀疏深度图时的能力，立体匹配任务可以评估DFM在处理多视角图像时的能力，SLAM任务可以评估DFM在实时场景重建中的能力。此外，BenchDepth还提供了一套标准的评估指标和协议，使得研究人员可以方便地比较不同DFM的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BenchDepth基准测试了八个最先进的深度基础模型，揭示了现有模型在不同下游任务中的优缺点。实验结果表明，基于下游任务的评估方法能够更有效地识别模型的实际性能，避免了传统评估方法中的偏差。该基准为未来深度估计模型的设计和评估提供了有价值的参考。

🎯 应用场景

BenchDepth的研究成果可广泛应用于机器人导航、自动驾驶、增强现实、虚拟现实、三维重建等领域。通过更准确地评估深度估计模型的性能，可以促进这些领域的技术进步，提高系统的可靠性和智能化水平。未来，BenchDepth有望成为深度估计领域的重要评估标准，推动相关研究和产业发展。

📄 摘要（原文）

Depth estimation is a fundamental task in computer vision with diverse applications. Recent advancements in deep learning have led to powerful depth foundation models (DFMs), yet their evaluation remains challenging due to inconsistencies in existing protocols. Traditional benchmarks rely on alignment-based metrics that introduce biases, favor certain depth representations, and complicate fair comparisons. In this work, we propose BenchDepth, a new benchmark that evaluates DFMs through five carefully selected downstream proxy tasks: depth completion, stereo matching, monocular feed-forward 3D scene reconstruction, SLAM, and vision-language spatial understanding. Unlike conventional evaluation protocols, our approach assesses DFMs based on their practical utility in real-world applications, bypassing problematic alignment procedures. We benchmark eight state-of-the-art DFMs and provide an in-depth analysis of key findings and observations. We hope our work sparks further discussion in the community on best practices for depth model evaluation and paves the way for future research and advancements in depth estimation.