Understanding Space Is Rocket Science -- Only Top Reasoning Models Can Solve Spatial Understanding Tasks

📄 arXiv: 2509.02175v2 📥 PDF

作者: Nils Hoehing, Mayug Maniparambil, Ellen Rushe, Noel E. O'Connor, Anthony Ventresque

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2025-09-02 (更新: 2025-09-04)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RocketScience基准以解决空间理解任务的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间理解 视觉语言模型 推理能力 多模态学习 数据集

📋 核心要点

  1. 现有的视觉语言模型在空间关系理解方面表现不佳，无法有效处理复杂的空间任务。
  2. 论文提出了RocketScience基准，通过全新的图像-文本对来评估空间理解能力，旨在提升模型的推理能力。
  3. 实验结果显示，推理模型在空间理解任务上表现优异，而当前VLM在此方面的性能显著不足，主要瓶颈在于空间推理能力。

📝 摘要（中文）

我们提出了RocketScience，一个开源的对比视觉语言模型基准，旨在测试空间关系理解能力。该基准包含全新的现实世界图像-文本对，主要覆盖相对空间理解和物体顺序。基准设计上对人类友好，但对当前的视觉语言模型（VLM）而言却极具挑战性，实验证明了这一点。结果显示，开源和前沿商业VLM在空间关系理解上存在显著不足，而推理模型的表现却出乎意料地优秀。此外，我们进行了分离分析，以区分链式思维模型中物体定位和空间推理的贡献，发现基准的性能瓶颈在于空间推理而非物体定位能力。我们以CC-BY-4.0许可证发布数据集，并在https://github.com/nilshoehing/rocketscience提供评估代码。

🔬 方法详解

问题定义：本论文旨在解决当前视觉语言模型在空间关系理解任务中的不足，尤其是在处理复杂的相对空间关系和物体顺序时的表现不佳。现有方法在这些任务上往往无法达到人类的理解水平。

核心思路：论文提出了RocketScience基准，设计了全新的图像-文本对，专注于相对空间理解，以便更好地评估和提升模型的推理能力。通过这种方式，研究者能够识别出模型在空间推理方面的具体缺陷。

技术框架：RocketScience基准包括多个模块，首先是数据收集模块，生成新的图像-文本对；其次是评估模块，用于测试模型在空间理解任务上的表现；最后是分析模块，进行性能瓶颈的识别和分析。

关键创新：最重要的技术创新在于提出了一个专门针对空间理解的基准，强调了空间推理在模型性能中的重要性，并通过实验证明了这一点。这与现有方法的主要区别在于关注点的转移，从单纯的物体定位到空间推理。

关键设计：在设计上，数据集采用了CC-BY-4.0许可证，确保了开放性和可用性。同时，评估代码的发布也为后续研究提供了便利。损失函数和网络结构的具体细节在论文中进行了详细描述，以确保模型的有效训练和评估。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当前的开源和商业视觉语言模型在空间关系理解任务上的表现显著不足，尤其是在复杂场景中，推理模型的表现却出乎意料地优秀。这表明，空间推理能力是提升模型性能的关键瓶颈，值得进一步研究。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、增强现实和虚拟现实等场景。在这些领域，空间理解能力至关重要，能够显著提升系统的智能水平和用户体验。未来，该基准可能推动更高效的视觉语言模型的开发，促进多模态学习的进步。

📄 摘要（原文）

We propose RocketScience, an open-source contrastive VLM benchmark that tests for spatial relation understanding. It is comprised of entirely new real-world image-text pairs covering mostly relative spatial understanding and the order of objects. The benchmark is designed to be very easy for humans and hard for the current generation of VLMs, and this is empirically verified. Our results show a striking lack of spatial relation understanding in open source and frontier commercial VLMs and a surprisingly high performance of reasoning models. Additionally, we perform a disentanglement analysis to separate the contributions of object localization and spatial reasoning in chain-of-thought-based models and find that the performance on the benchmark is bottlenecked by spatial reasoning and not object localization capabilities. We release the dataset with a CC-BY-4.0 license and make the evaluation code available at: https://github.com/nilshoehing/rocketscience