DepthEvidence: Unifying Metric Depth Prediction and Geometric Reasoning in Multimodal Language Models
作者: Jiangning Wei, Yuan Yao, Miaomiao Cui, Mingsheng Li, Humen Zhong, Shuai Bai, Zhibo Yang
分类: cs.CV, cs.AI
发布日期: 2026-09-25
💡 一句话要点
提出DepthEvidence以统一度量深度预测与几何推理
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度预测 几何推理 多模态语言模型 空间理解 指令调优 视觉特征提取 密集监督 VQA基准
📋 核心要点
- 现有方法在空间推理中难以有效链接物体与几何测量，导致数值信息的丢失。
- DepthEvidence通过将密集度量预测作为物体基础证据，增强了语言生成的几何推理能力。
- 在九个数据集上，DepthEvidence在密集深度估计和推理准确性上均表现优异，超越了多种基线方法。
📝 摘要（中文）
空间推理需要将物体与几何测量联系起来，并在语言推理过程中保持其数值内容。本文提出DepthEvidence，一个拥有40亿参数的模型，利用自身的密集度量预测作为语言生成的物体基础证据。该模型通过相机条件解码器使用多尺度视觉特征和高分辨率RGB细化来预测全分辨率的度量深度。密集到语言的接口将预测的深度和解码器特征转换为与物体标识符对齐的连续几何标记。几何监督确保在语言上下文交互前后，度量信息保持可恢复，同时指令调优支持物体测量和组合推理。我们引入Depth-VQA基准，评估物体深度查询、相对比较及结合空间和数值约束的决策。DepthEvidence在九个数据集上实现了最高的平均密集$δ_1$，在实例级度量深度估计和相对及度量推理轨道的整体准确性上领先评估方法，同时广泛保持一般VQA性能并改善空间理解。
🔬 方法详解
问题定义：本文旨在解决空间推理中物体与几何测量之间的链接不足，现有方法在处理数值内容时存在信息丢失的问题。
核心思路：DepthEvidence模型通过将自身的密集度量预测作为物体基础证据，增强了语言生成过程中的几何推理能力，确保数值信息在语言上下文中得以保留。
技术框架：模型包括相机条件解码器和密集到语言的接口。相机条件解码器负责使用多尺度视觉特征和高分辨率RGB细化来预测全分辨率的度量深度，而密集到语言的接口则将这些深度信息转换为与物体标识符对齐的几何标记。
关键创新：DepthEvidence的主要创新在于引入几何监督机制，确保在语言上下文交互前后，度量信息能够保持可恢复性，这在现有方法中是较为罕见的。
关键设计：模型的设计包括特定的损失函数以优化几何信息的恢复，网络结构采用多尺度特征提取以增强深度预测的准确性，同时结合指令调优来支持物体测量和组合推理。
🖼️ 关键图片
📊 实验亮点
在九个数据集上，DepthEvidence在密集深度估计中实现了最高的平均$δ_1$，并在实例级度量深度估计和相对及度量推理的整体准确性上领先其他评估方法，显示出显著的性能提升。
🎯 应用场景
DepthEvidence的研究成果在机器人视觉、自动驾驶、增强现实等领域具有广泛的应用潜力。通过提升空间理解能力，该模型能够更好地支持复杂场景下的决策与交互，推动智能系统的进一步发展。
📄 摘要（原文）
Spatial reasoning with metric constraints requires linking objects to geometric measurements and preserving their numerical content during language reasoning. We present DepthEvidence, a 4B model that uses its own dense metric predictions as object-grounded evidence for language generation. A camera-conditioned decoder predicts full-resolution metric depth using multi-scale visual features and high-resolution RGB refinement. A dense-to-language interface converts predicted depths and decoder features into object-aligned continuous geometry tokens anchored to object identifiers. Geometric supervision encourages metric information to remain recoverable before and after language-context interaction, while instruction tuning supports object measurement and compositional reasoning. We introduce a Depth-VQA benchmark evaluating object-depth queries, relative comparisons, and decisions combining spatial and numerical constraints. Across nine datasets, DepthEvidence achieves the highest average dense $δ_1$ among evaluated methods, competitive with specialized estimators. It also leads the evaluated methods in instance-level metric depth estimation and overall accuracy on both relative and metric reasoning tracks, while broadly preserving general VQA performance and improving spatial understanding relative to the base model.