Metric-Bench: Exploring In-context Spatial Metric Reasoning in VLMs for Indoor Scenes
作者: Yuling Xi, Haokai Zhang, Muzhi Zhu, Hao Zhong, Zongze Du, Hengyu Zhao, Chenchen Jing, Yufei Yin, Bin Qin, Yongjie Yang, Zhenbo Luo, Hao Chen, Chunhua Shen
分类: cs.CV, cs.MM
发布日期: 2026-09-22
备注: Accepted to ECCV
💡 一句话要点
提出Metric-Bench以解决视觉语言模型中的空间度量推理问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间度量推理 视觉语言模型 机器人操作 自主导航 多模态学习
📋 核心要点
- 当前视觉语言模型在空间推理方面面临刚性像素级监督的瓶颈，导致多模态智能的性能下降。
- 提出Metric-Bench基准，通过结合图像内参考对象的物理尺寸，引导模型学习2D到3D的映射。
- 实验结果显示，Metric-Bench显著提升了空间度量理解，整体准确率提升30.4%，在多个基准上均有显著改善。
📝 摘要（中文）
度量推理是视觉语言模型（VLMs）中的一项关键且具有挑战性的任务，对机器人操作和自主导航等具身人工智能任务至关重要。然而，当前的空间推理受到刚性像素级监督的瓶颈限制，导致多模态智能的退化。为了解决这些问题，本文提出了Metric-Bench，一个专注于利用上下文信息指导度量空间推理的基准。通过结合具有已知物理尺寸的图像内参考对象，Metric-Bench引导模型在没有相机内参的情况下隐式学习2D到3D的映射。此外，本文还提出了MetricReasoner，一种针对参考基础度量推理的任务适应性强化微调方法，使用结构化提示和可验证的数值奖励。大量实验表明，该方法显著提升了空间度量理解，超越现有模型43.1%，并在下游任务中也表现出显著提升。
🔬 方法详解
问题定义：本文旨在解决视觉语言模型在空间度量推理中的局限性，现有方法依赖于刚性像素级监督，导致性能下降和广泛推理能力的遗忘。
核心思路：通过引入Metric-Bench基准，结合具有已知物理尺寸的参考对象，模型能够在没有相机内参的情况下学习2D到3D的映射，从而提升空间度量推理能力。
技术框架：整体架构包括Metric-Bench基准的构建和MetricReasoner的设计，前者提供了训练数据，后者则通过强化学习进行微调，使用结构化提示和数值奖励来优化模型性能。
关键创新：最重要的创新在于Metric-Bench的设计，它通过上下文信息引导模型学习，避免了传统方法的局限性，显著提升了空间度量推理的效果。
关键设计：在设计中，采用了结构化提示和可验证的数值奖励机制，确保模型在推理过程中能够获得有效反馈，优化了损失函数和网络结构以适应任务需求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Metric-Bench显著提升了空间度量理解，相较于现有模型提升了43.1%。在下游任务中，整体准确率提升30.4%，在RoboSpatial和ERQA等基准上也表现出显著的性能提升，显示出该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能导航系统以及增强现实等，能够为具身人工智能提供更强的空间理解能力，提升其在复杂环境中的决策和操作能力。未来，Metric-Bench的设计理念可能会扩展到其他多模态学习任务中，推动相关领域的发展。
📄 摘要（原文）
Metric reasoning is a critical and challenging task for Vision Language Models (VLMs), playing a pivotal role in embodied AI tasks such as robotic manipulation and autonomous navigation. However, current spatial reasoning remains bottlenecked by rigid pixel-level supervision; such localized optimization often compromises general multimodal intelligence, triggering performance degradation or catastrophic forgetting of broad reasoning capabilities. To address these limitations, we introduce Metric-Bench, a focused benchmark designed to guide metric-spatial reasoning using contextual information. By incorporating in-image reference objects with known physical dimensions, Metric-Bench guides models to implicitly learn the 2D-to-3D mapping without camera intrinsics. We further present MetricReasoner, a task-adapted reinforcement fine-tuning recipe for reference-grounded metric reasoning, using structured prompts and verifiable numerical rewards. Extensive experiments on Metric-Bench demonstrate that our approach significantly enhances spatial metric understanding, outperforming existing and even larger proprietary models by 43.1\%, while improving downstream embodied performance over a spatial-specialized counterpart by 30.4\% on RoboSpatial overall accuracy and 9.3\% on ERQA, and additionally delivering consistent gains on general benchmarks (15.9\% on V$\star$Bench, 88.9\% on BLINK), indicating that the proposed adaptation does not necessarily compromise general VLM capabilities.