VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control
作者: Zhongbo Zhang, Jiayi Jin, Yifan Wang, Zaibin Zhang, Haiwen Diao, Lijun Wang, Huchuan Lu
分类: cs.RO, cs.CV
发布日期: 2026-09-17
💡 一句话要点
提出VA-Bench以评估具身空间智能的观察-推理-行动循环
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 空间智能 多模态大语言模型 主动感知 机器人控制 任务评估
📋 核心要点
- 现有方法在处理不完整观察时，缺乏有效的证据获取和空间推理能力，导致任务成功率低。
- 论文提出VA-Bench，通过引入完整的观察-推理-行动-修正循环，评估多模态大语言模型在空间智能任务中的表现。
- 实验结果表明，主动相机控制显著提高任务成功率，且在几项任务中，成功率提升超过30个百分点。
📝 摘要（中文）
空间智能不仅仅是描述物体位置。在不完整观察的情况下，模型必须识别和获取缺失证据，将其解释为共同的空间框架，并据此采取行动。我们引入VA-Bench来评估完整的观察-推理-行动-修正循环。通用的多模态大语言模型（MLLMs）从RGB演示中学习程序上下文，主动选择相机视角，发出度量笛卡尔命令，并根据执行反馈进行修正。模型不接收特权的物体姿态、预设轨迹或学习的动作头。VA-Bench包含14个基础任务家族，评估12种主要模型条件，报告终端成功率、轨迹级行为诊断和子任务进展。实验结果显示，最佳模型在目标定位上得分100.0%，而空间关系得分为78.9%。
🔬 方法详解
问题定义：本论文旨在解决在不完整观察条件下，模型如何有效识别、获取缺失证据并进行空间推理的问题。现有方法通常依赖于预设的物体姿态和轨迹，缺乏灵活性和适应性。
核心思路：论文的核心思路是通过VA-Bench评估模型在观察-推理-行动-修正循环中的表现，强调模型在没有特权信息的情况下，如何通过视觉演示和主动获取证据来实现成功的具身行动。
技术框架：VA-Bench的整体架构包括14个基础任务家族，模型通过RGB演示学习程序上下文，主动选择相机视角，发出度量命令并根据反馈进行修正。主要模块包括任务执行、反馈修正和结果评估。
关键创新：最重要的技术创新点在于引入了一个完全不依赖于特权信息的模型-无关控制器，强调模型在真实环境中的适应能力和灵活性。与现有方法相比，VA-Bench提供了更全面的评估标准。
关键设计：在模型设计中，采用了固定的模型-无关控制器，确保模型仅根据自身指定的目标进行执行。损失函数和网络结构的具体细节未在摘要中详细说明，需参考完整论文。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳模型在目标定位任务中取得了100.0%的成功率，而在空间关系任务中得分为78.9%。通过主动相机控制，任务成功率从27.86%提升至57.50%。此外，几何转移对任务成功率的影响显著，降低幅度超过30个百分点。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶、智能家居等需要空间智能的场景。通过提升模型在复杂环境中的决策能力，VA-Bench有助于推动具身智能系统的实际应用和发展，未来可能在多种智能设备中得到广泛应用。
📄 摘要（原文）
Spatial intelligence requires more than describing object locations. Under incomplete observation, models must identify and acquire missing evidence, interpret it in a common spatial frame, and act on it. We introduce VA-Bench to evaluate the complete observe-reason-act-revise loop. General-purpose MLLMs learn procedural context from RGB-only demonstrations, actively select camera viewpoints, issue metric Cartesian commands, and revise them from execution feedback. Models receive no privileged object poses, oracle trajectories, or learned action heads. A fixed model-agnostic controller executes only model-specified targets. VA-Bench contains 14 base task families (11 single-arm and three dual-arm), seven held-out geometry/layout variants, and a long-horizon five-object composition track. We evaluate 12 primary model conditions in three independent runs over the same 20 physically verified seeds per base task, reporting terminal success, nine trajectory-level behavioral diagnostics, and subtask progress. First, the best-performing model scores 100.0% on target localization and 78.9% on spatial relations in the annotated run. Its three-run macro-average task success is only 53.93+/-3.17%. Second, active camera control significantly improves task success over passive multi-view observation. In one matched comparison, success rises from 27.86% to 57.50%. Third, held-out geometric transfer can reduce task success by over 30 percentage points. No model completes a strict long-horizon episode, despite substantial partial progress. VA-Bench thus tests whether general-purpose MLLMs can turn visual demonstrations and actively acquired evidence into successful embodied action.