SpaceCast-Bench: Evaluating Predictive Spatial Reasoning in Vision-Language Models

📄 arXiv: 2610.12402v1 📥 PDF

作者: Hongxing Li, Jinyue Su, Dingming Li, Wenqi Zhang, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

分类: cs.CV, cs.CL

发布日期: 2026-10-08

备注: Code: https://github.com/ZJU-REAL/SpaceCast-Bench Dataset: https://huggingface.co/datasets/hongxingli/SpaceCast-Bench

💡 一句话要点

提出SpaceCast-Bench以评估视觉语言模型的预测空间推理能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 空间推理 视觉语言模型 基准评估 预测性推理 多模态学习

📋 核心要点

  1. 现有空间推理基准主要集中于空间感知，未能有效评估预测性空间推理能力。
  2. 论文提出SpaceCast-Bench基准，通过观察-转换-推理框架评估模型在不同层次的空间推理能力。
  3. 实验结果显示，最强模型的表现仅为58.0%，而人类表现为87.2%，表明模型在空间推理方面存在显著不足。

📝 摘要（中文）

现有的空间推理基准主要测试空间感知，即从输入中读取已可见的关系。然而，现实世界的空间智能要求预测性空间推理：从观察中构建场景，预测干预如何改变场景，并推理未观察到的结果。我们引入了SpaceCast-Bench，这是第一个直接且诊断性地评估这一能力的基准。该基准围绕观察-转换-推理框架构建，包含来自182个真实场景的3862个问题，涵盖静态感知、局部预测和全局预测三个层次，逐步要求场景理解、空间状态更新和对未观察结果的关系推理。对21个模型的评估揭示了显著差距：最强模型仅达到58.0%的表现，而人类表现为87.2%。

🔬 方法详解

问题定义：本论文旨在解决现有空间推理基准无法有效评估预测性空间推理能力的问题。现有方法主要集中于已可见关系的空间感知，未能考虑如何从观察中推断未观察到的结果。

核心思路：论文的核心思路是构建SpaceCast-Bench基准，通过观察-转换-推理的框架，设计一系列问题来测试模型的空间推理能力，特别是预测性推理。这样的设计能够更全面地评估模型在真实场景中的表现。

技术框架：整体架构包括三个主要模块：观察模块负责捕捉场景信息，转换模块用于更新空间状态，推理模块则进行关系推理和未观察结果的推断。该框架通过3862个问题覆盖静态感知、局部预测和全局预测三个层次。

关键创新：最重要的技术创新点在于引入了预测性空间推理的评估标准，填补了现有基准的空白。与传统方法相比，SpaceCast-Bench更关注模型在动态场景中的推理能力。

关键设计：在模型评估中，采用了多种问题类型和场景设置，确保覆盖不同的推理层次。同时，控制分析显示，桥接视图对于整合分散观察至关重要，明确的3D证据比生成的结果图像或视频更能有效提升模型性能。实验中还对Qwen3-VL-4B进行了微调，显著提升了其性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最强模型在SpaceCast-Bench基准上的表现仅为58.0%，而人类表现达到87.2%，揭示了模型在空间推理方面的显著不足。此外，通过对Qwen3-VL-4B进行微调，其性能从34.0%提升至65.7%，在六个域外基准上也实现了宏观平均提升。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、虚拟现实等需要空间推理的场景。通过提升模型的预测性空间推理能力，可以在更复杂的环境中实现更智能的决策和行为，具有重要的实际价值和未来影响。

📄 摘要（原文）

Existing spatial reasoning benchmarks mainly test spatial perception: reading off relations already visible in the input. Yet real-world spatial intelligence demands predictive spatial reasoning: constructing a scene from observations, anticipating how an intervention changes it, and reasoning about the unseen outcome. We introduce SpaceCast-Bench, the first benchmark to directly and diagnostically evaluate this capability. Built around an observe-transform-infer framework, its 3,862 questions from 182 real-world scenes span 16 task types at three levels: static perception, local prediction, and global prediction, progressively requiring scene understanding, spatial state updating, and relational inference over unobserved outcomes. Evaluating 21 models exposes a stark gap: the strongest model reaches only 58.0% against 87.2% human performance, while spatially specialized models remain near random chance. Controlled analyses further reveal that bridge views are critical for integrating distributed observations, and that explicit 3D evidence benefits models more reliably than generated outcome images or videos. Fine-tuning on our programmatically generated data lifts Qwen3-VL-4B from 34.0% to 65.7% with macro-average gains across six out-of-domain benchmarks.