FounRef: Robust, Structure-Preserving, and Fast Metric Refinement of Frozen Monocular Foundation Priors with Sparse Anchors
作者: Dan Halperin, Mirko Mählisch
分类: cs.CV
发布日期: 2026-09-24
备注: 16 pages, 12 figures; includes appendix
💡 一句话要点
提出FounRef以解决单目基础模型的深度度量问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 单目深度估计 几何保真性 深度补全 模块化设计 稀疏锚点 机器人导航 增强现实
📋 核心要点
- 现有方法在实现准确的密集度量深度时，往往面临几何保真性和推理速度的权衡。
- FounRef通过对冻结的单目基础先验与稀疏度量锚点进行对齐，提供了一种无需训练的密集度量深度生成方法。
- 在实验中，FounRef在域外数据上实现了24%的深度误差降低和92%的表面法线噪声降低，推理速度比现有最优方法快近15倍。
📝 摘要（中文）
从相机获取密集度量深度对于现实世界的3D应用至关重要，但同时实现准确性、真实表面几何和快速推理仍然具有挑战性。单目基础模型提供了丰富的可转移几何先验，但缺乏可靠的度量尺度，而深度补全网络则在几何保真性、跨域鲁棒性或速度上存在妥协。本文提出FounRef，一种无训练的方法，通过稀疏度量锚点对冻结的单目基础先验进行对齐，以生成密集度量深度。FounRef的设计是模块化的，可以独立替换深度先验、锚点来源和精炼求解器。通过对每个锚点进行验证，FounRef能够拒绝由于跨传感器不对齐而导致的不一致性，并通过结构保留求解器应用全局和局部度量修正，保持先验的细致几何。FounRef无需特定任务训练，能够在不熟悉的相机和场景中直接操作。
🔬 方法详解
问题定义：本文旨在解决从单目相机获取准确的密集度量深度的问题。现有方法在准确性、几何保真性和推理速度之间存在明显的权衡，导致实际应用受限。
核心思路：FounRef的核心思路是通过对冻结的单目基础先验与稀疏度量锚点进行对齐，生成高质量的密集度量深度。该方法不依赖于特定任务的训练，能够在不同的相机和场景中直接应用。
技术框架：FounRef的整体架构包括三个主要模块：深度先验、锚点来源和精炼求解器。首先，利用稀疏锚点验证基础先验的深度预测，然后通过结构保留求解器进行全局和局部的度量修正。
关键创新：FounRef的创新在于将度量对齐与几何预测解耦，允许在不牺牲几何保真性的情况下实现准确的密集度量深度生成。这一设计使其能够有效应对跨传感器不对齐问题。
关键设计：FounRef的设计中，关键参数包括锚点的选择和验证机制，采用的损失函数旨在最大限度地减少深度预测与锚点之间的误差，同时保持几何结构的完整性。
🖼️ 关键图片
📊 实验亮点
FounRef在实验中表现出色，相较于DMD3C这一最先进的深度补全网络，其在域外数据上实现了24%的深度误差降低和92%的表面法线噪声降低，同时推理速度提高近15倍。这些结果表明FounRef在准确性和效率上的显著优势。
🎯 应用场景
FounRef在机器人导航、增强现实和自动驾驶等领域具有广泛的应用潜力。其能够在不同的传感器和环境中快速生成高质量的深度信息，为3D重建和环境理解提供了重要支持。随着基础模型和度量传感器的不断进步，FounRef的实际价值和影响将进一步提升。
📄 摘要（原文）
Dense metric depth from cameras is essential to real-world 3D applications, yet achieving accuracy, faithful surface geometry, and fast inference simultaneously remains challenging. Monocular foundation models provide rich, transferable geometric priors but lack reliable metric scale, while depth-completion networks recover metric depth at the cost of geometric fidelity, cross-domain robustness, or speed. We present FounRef, a training-free method that aligns a frozen monocular foundation prior with sparse metric anchors to produce dense metric depth. FounRef is modular by design: its depth prior, anchor source, and refinement solver can each be replaced independently. We instantiate FounRef with MoGe-2 and LiDAR anchors. FounRef validates each anchor against the prior's dense depth prediction, rejecting inconsistencies caused by cross-sensor misalignment that geometry-only filters cannot detect. It then applies global and local metric corrections through a structure-preserving solver, retaining the prior's fine-grained geometry. FounRef requires no task-specific training and operates out of the box across unfamiliar cameras and scenes. On out-of-domain data, it delivers up to 24% lower depth error, 92% lower surface-normal noise, and almost 15x faster inference than DMD3C, a state-of-the-art depth-completion network. By decoupling metric alignment from geometry prediction, FounRef provides an accurate, geometrically faithful, and efficient approach to dense metric depth that can directly benefit from future advances in foundation models and metric sensors.