Spa-Bench: A Real-Robot Benchmark for Spatial Grounding in Vision-Language-Action Models

📄 arXiv: 2610.12696v1 📥 PDF

作者: Justin Tien-Smith, Matthew Pidden, Rolandos Alexandros Potamias

分类: cs.RO

发布日期: 2026-10-08

备注: 17 pages, 14 figures, including appendices. Website: https://justintiensmith.github.io/Spa-Bench/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Spa-Bench以解决视觉-语言-动作模型空间定位问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作 空间定位 机器人基准 多模态学习 智能控制 真实环境评估

📋 核心要点

  1. 现有的视觉-语言-动作模型在空间描述的实际应用中表现不佳，缺乏对物理场景的可靠定位能力。
  2. 本文提出Spa-Bench基准，通过六个桌面任务评估VLA在空间定位方面的表现，旨在提高模型的实际应用能力。
  3. 实验结果表明，评估的VLA在已知空间配置下成功率为67.5-73.3%，而在未知配置下下降至40.7-52.0%，显示出空间定位的不足。

📝 摘要（中文）

视觉-语言-动作模型（VLA）为通用机器人提供了有前景的解决方案，通过将大规模视觉-语言预训练的语义知识转移到语言条件控制中。然而，现有的VLA评估主要集中在对象、指令或环境变化下的整体操作成功率上，未能明确这些策略在实际场景中如何可靠地实现空间描述的定位。为此，本文提出了Spa-Bench，一个真实机器人基准，评估六个桌面任务中的空间定位能力。实验结果显示，尽管评估的VLA能够执行所需操作，但在空间定位方面仍然缺乏稳健性。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-动作模型在实际场景中空间描述定位的不足，现有评估方法未能有效反映模型在物理环境中的表现。

核心思路：通过引入Spa-Bench基准，系统评估VLA在不同空间配置下的表现，特别关注模型如何将空间描述转化为实际行为。

技术框架：Spa-Bench包括六个桌面任务，涵盖对象状态、相对大小、指称描述、关系放置、序数位置和计数等方面，设计了四个诊断条件以深入探讨模型的执行能力和对指令的敏感性。

关键创新：最重要的创新在于通过真实机器人基准评估空间定位能力，提供了更具针对性的评估方法，与传统的成功率评估形成鲜明对比。

关键设计：实验中使用了4092个回合的数据，包括1200个人工遥控演示和2892个真实机器人评估回合，确保了对象和动作的熟悉度，以减少失败的替代解释。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在已知空间配置下，评估的VLA成功率为67.5-73.3%，而在未知配置下下降至40.7-52.0%。通过匹配直接指令，成功率提高了28.3-40.0个百分点，表明模型在特定条件下的表现显著改善。

🎯 应用场景

该研究的潜在应用领域包括智能家居、服务机器人和工业自动化等，能够提升机器人在复杂环境中的自主操作能力。未来，Spa-Bench可能成为评估和改进视觉-语言-动作模型的标准工具，推动相关技术的发展。

📄 摘要（原文）

Vision-language-action models (VLAs) offer a promising route toward general-purpose robotics by transferring semantic knowledge from large-scale vision-language pretraining into language-conditioned control. However, most VLA evaluations emphasize aggregate manipulation success under changes in objects, instructions, or environments, leaving unclear how reliably these policies ground spatial descriptions in the physical scenes where they act. We therefore ask a sharper question: how reliably can current VLAs translate spatial descriptions into appropriate real-robot behavior? To investigate this, we introduce Spa-Bench, a real-robot benchmark that evaluates spatial grounding across six tabletop tasks covering Object State, Relative Size, Referential Description, Relational Placement, Ordinal Position, and Counting. Our primary evaluation compares in-distribution (ID) and out-of-distribution (OOD) spatial configurations while retaining training support for the relevant objects, concepts, and actions, reducing object and motor unfamiliarity as alternative explanations for failure. Four diagnostic conditions further probe physical execution, sensitivity to wording, object-task associations, and recognition that no action is required. We release 4,092 episodes collected on the SO-101 robot arm: 1,200 human-teleoperated demonstrations and 2,892 real-robot evaluation rollouts from five state-of-the-art VLA policies. Across the three fully evaluated policies, success falls from 67.5-73.3% on ID spatial configurations to 40.7-52.0% on OOD spatial configurations, while matched direct instructions improve success by 28.3-40.0 percentage points. These results show that the evaluated VLAs can often execute the required manipulations but lack robust spatial grounding. Project materials, including videos, code, and benchmark data, are available at https://justintiensmith.github.io/Spa-Bench/.