Toward A Better Understanding of Monocular Depth Evaluation

📄 arXiv: 2510.19814v3 📥 PDF

作者: Siyang Wu, Jack Nugent, Willow Yang, Jia Deng

分类: cs.CV

发布日期: 2025-10-22 (更新: 2025-11-17)

🔗 代码/项目: GITHUB

💡 一句话要点

提出单目深度估计评估新指标，提升与人类感知的对齐性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 深度评估指标 表面法线 曲率扰动 人类感知 定量分析 复合指标

📋 核心要点

  1. 现有单目深度估计评估指标缺乏标准化，且对某些类型的误差（如曲率扰动）不敏感，与人类感知存在偏差。
  2. 提出基于相对表面法线的新评估指标，能够更好地捕捉曲率变化，从而更准确地反映深度估计的质量。
  3. 通过实验证明，新指标与人类判断的相关性更高，并提供深度可视化工具和复合指标构建方法，提升评估效果。

📝 摘要（中文）

单目深度估计是一项快速发展的任务，但如何评估它尚未完全解决。现有文献缺乏标准化，且存在大量评估指标，它们的权衡和行为尚未被充分理解。本文对现有指标进行了新颖的定量分析，分析了它们对ground truth各种扰动的敏感性，并强调了与人类判断的比较。我们的分析表明，现有指标对曲率扰动（例如使光滑表面变得凹凸不平）严重不敏感。为了解决这个问题，我们引入了一种基于相对表面法线的新指标，以及新的深度可视化工具和一种以原则性方法创建与人类对齐性更好的复合指标。

🔬 方法详解

问题定义：单目深度估计旨在从单张图像中预测场景的深度信息。现有的深度估计评估指标存在一些问题，例如对某些类型的误差（特别是曲率扰动）不敏感，导致评估结果与人类感知不一致。这意味着即使算法生成的深度图在视觉上看起来不准确，现有的指标也可能给出较高的评分。

核心思路：论文的核心思路是设计一种对曲率变化更敏感的评估指标，从而更好地反映深度估计的质量。作者认为，人类在判断深度图质量时，会特别关注表面形状的细节，而现有的指标往往忽略了这些细节。因此，新的指标应该能够捕捉到表面法线的微小变化。

技术框架：论文提出的方法主要包括以下几个部分：1) 对现有深度评估指标进行定量分析，评估它们对不同类型扰动的敏感性；2) 提出一种基于相对表面法线的新评估指标；3) 开发新的深度可视化工具，帮助用户更好地理解深度图的质量；4) 提出一种构建复合指标的原则性方法，将多个指标结合起来，以获得更全面和准确的评估结果。

关键创新：论文最重要的技术创新点在于提出了基于相对表面法线的新评估指标。与现有的指标相比，该指标能够更好地捕捉曲率变化，从而更准确地反映深度估计的质量。此外，论文还提出了一种构建复合指标的原则性方法，可以根据不同的应用场景，选择合适的指标进行组合，以获得最佳的评估效果。

关键设计：新的评估指标基于相对表面法线，通过计算预测深度图和ground truth深度图之间表面法线的差异来评估深度估计的质量。具体来说，该指标首先计算每个像素点的表面法线，然后计算预测深度图和ground truth深度图之间对应像素点表面法线的夹角。最后，将所有像素点的夹角进行平均，得到最终的评估结果。论文还提出了一种加权平均的方法，可以根据像素点的重要性，对不同的像素点赋予不同的权重。

📊 实验亮点

论文通过实验证明，提出的基于相对表面法线的新指标与人类判断的相关性更高。在对现有指标进行定量分析时，发现现有指标对曲率扰动不敏感。通过将新指标与现有指标进行组合，可以构建出与人类感知对齐性更好的复合指标，从而更准确地评估深度估计算法的性能。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、三维重建、虚拟现实等领域。更准确的深度估计评估指标能够帮助研究人员更好地评估和改进深度估计算法，从而提高这些应用场景的性能和可靠性。例如，在自动驾驶中，准确的深度估计对于障碍物检测和路径规划至关重要。

📄 摘要（原文）

Monocular depth estimation is an important task with rapid progress, but how to evaluate it is not fully resolved, as evidenced by a lack of standardization in existing literature and a large selection of evaluation metrics whose trade-offs and behaviors are not fully understood. This paper contributes a novel, quantitative analysis of existing metrics in terms of their sensitivity to various types of perturbations of ground truth, emphasizing comparison to human judgment. Our analysis reveals that existing metrics are severely under-sensitive to curvature perturbation such as making smooth surfaces bumpy. To remedy this, we introduce a new metric based on relative surface normals, along with new depth visualization tools and a principled method to create composite metrics with better human alignment. Code and data are available at: https://github.com/princeton-vl/evalmde.