Seeing Is Not Measuring: Tool-Augmented Metric Spatial Reasoning for Vision-Language Models

📄 arXiv: 2609.29073v1 📥 PDF

作者: Kai Glantz, Clemens Grange

分类: cs.CV

发布日期: 2026-09-24

💡 一句话要点

提出工具增强的度量空间推理框架以提升视觉语言模型性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 视觉语言模型 空间推理 几何工具 3D物体检测 度量深度估计 显式求解器 模块化框架

📋 核心要点

  1. 现有视觉语言模型在推理度量3D结构方面表现不佳，尤其是在绝对距离和物理尺寸的计算上。
  2. 本文提出了一种工具增强的框架，通过引入几何工具来提升小型VLM的空间推理能力，且不依赖于特定的预测器。
  3. 实验结果表明，该方法在多个任务上显著提升了模型的推理性能，特别是在绝对和相对距离的计算上。

📝 摘要（中文）

视觉语言模型（VLMs）在描述场景方面表现良好，但在度量3D结构的推理上存在不足，如绝对距离、物理尺寸或自我中心方向。本文提出了一种模块化的、预测器无关的工具增强框架，利用几何工具（如3D物体检测、度量深度估计和确定性求解器）来提升小型VLM（Qwen3.5-4B）的性能。通过将度量计算从模型权重中移出，使用显式求解器，实验结果显示在ReVSI-Bench的四个任务中，绝对距离的平均相对准确率从0.46提升至0.74，相关距离从39.1%提升至67.4%，相关方向从25.9%提升至73.4%。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在度量3D结构推理中的不足，现有方法在绝对距离和物理尺寸的推理上存在较大误差。

核心思路：通过引入几何工具（如3D物体检测和度量深度估计），将度量计算从模型权重中分离出来，使用显式求解器进行计算，从而提升模型的推理能力。

技术框架：整体框架包括多个模块：3D物体检测、度量深度估计和确定性求解器。每个物体在其最佳视角下被检测，并将检测结果提升到共享的世界坐标系中。

关键创新：最重要的创新在于将度量计算外包给显式求解器，使得模型的推理能力得到了显著提升，同时可以灵活替换不同的检测器，从而分离感知误差与推理误差。

关键设计：在设计中，使用了强大的单目检测器（WildDet3D），并通过工具接口实现不同检测器的替换，确保了工具在真实检测器上的高效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用工具增强框架后，绝对距离的平均相对准确率从0.46提升至0.74，相关距离从39.1%提升至67.4%，相关方向从25.9%提升至73.4%。这些结果表明，该方法在多个任务上显著优于基线，验证了工具增强的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景，能够有效提升系统对环境的理解和推理能力。通过增强视觉语言模型的空间推理能力，未来可以在复杂环境中实现更高效的决策和交互。

📄 摘要（原文）

Vision-Language Models (VLMs) describe scenes well but reason poorly about metric 3D structure such as absolute distances, physical sizes, or egocentric directions. We present a modular, predictor agnostic, tool-augmented framework that equips a small VLM (Qwen3.5-4B) with geometric tools: 3D object detection, metric depth estimation, and deterministic solvers for distance, size and bearing. Each object is detected in the camera frame of its own best view, and the tools use that frame's pose to lift every detection into one shared world frame. Moving metric computation out of the model's weights and into explicit solvers yields large gains on three of four ReVSI-Bench tasks: with a strong monocular detector (WildDet3D), absolute distance rises from 0.46 to 0.74 Mean Relative Accuracy (MRA), relative distance from 39.1% to 67.4%, and relative direction from a below-chance 25.9% to 73.4%. Because any detector can be swapped in behind the tool interface, comparing real detectors against ground-truth boxes separates perception error from reasoning error: orchestration costs only 0.03 MRA. Object size is bounded by the detector: the tools are near-exact on groundtruth boxes (0.97) yet the best real detector barely beats the no-tool baseline (0.61 vs. 0.58), because size reads straight off a box extent monocular detectors get wrong. Without a predefined recipe, the model already sequences the tools correctly on its own, matching a scripted pipeline on three of four tasks.