Towards Spatial Supersensing in the Wild

📄 arXiv: 2607.13681v1 📥 PDF

作者: Tianjun Gu, Tianyu Xin, Kuan Zhang, Bowen Yang, Kok-Chung Chua, Peize Li, Xinran Zhang, Yupeng Chen, Qiyue Zhao, Qinlei Xie, Jianhang Liu, Yucheng Lu, Yinan Han, Marco Pavone, Yiming Li

分类: cs.CV

发布日期: 2026-07-15

备注: Accepted to ECCV 2026. Project page: https://vsi-super-wild.github.io/

💡 一句话要点

提出VSI-Super-Wild以解决真实场景中的空间超感知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间超感知 真实场景 多模态模型 长视频理解 世界状态跟踪 基准评估 认知科学

📋 核心要点

  1. 现有的空间超感知方法主要依赖合成视频，缺乏对真实世界场景的深入理解与连续性探索。
  2. 本文提出VSI-Super-Wild基准，系统评估多模态模型在真实场景中的空间超感知能力，强调世界状态的三元组结构。
  3. 实验表明，尽管在静态图像理解上取得进展，模型在时间一致性跟踪任务中仍表现不佳，揭示了模型的四种失败模式。

📝 摘要（中文）

人类能够高效解析连续的感官流，构建支持空间推理和预测的内部世界模型。为了模拟这一能力，空间超感知挑战多模态模型超越语言理解，向真实世界建模迈进。然而，现有基准依赖于合成的长视频，主要限于家庭场景，未能充分探索真实世界的连续性和多样性。为此，本文引入了VSI-Super-Wild，这是一个大规模基准，用于评估在多样化的真实场景中进行长时间的空间超感知。VSI-Super-Wild包含6980个经过人工验证的问题-答案对，源自442个真实世界视频，涵盖8个场景类别，长达4小时以上。实验结果揭示了模型在需要时间一致的世界状态跟踪任务中表现不佳的根本原因，并诊断出四种失败模式，指出模型缺乏将对象、代理和环境绑定为统一空间世界模型的机制。

🔬 方法详解

问题定义：本文旨在解决现有空间超感知模型在真实场景中缺乏有效世界状态跟踪的问题。现有方法主要依赖合成视频，未能充分考虑真实世界的复杂性和多样性。

核心思路：论文的核心思路是通过引入VSI-Super-Wild基准，系统性地评估和推动多模态模型在真实场景中的空间超感知能力，强调代理、对象和环境之间的关系。

技术框架：整体架构包括数据收集、问题设计、模型训练和评估四个主要模块。数据收集阶段从真实视频中提取信息，问题设计阶段生成问题-答案对，模型训练阶段使用多模态学习方法，评估阶段则通过对比分析模型表现。

关键创新：最重要的技术创新点在于提出了VSI-Super-Wild基准，系统探讨了世界状态的三元组结构，并揭示了模型在时间一致性跟踪中的不足，推动了空间超感知的研究方向。

关键设计：在模型设计中，采用了多模态融合技术，设置了特定的损失函数以优化时间一致性，并引入了动态更新机制以增强模型对世界状态的理解。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VSI-Super-Wild基准上的实验结果显示，尽管模型在静态图像理解上取得了显著进展，但在需要时间一致性跟踪的任务中，模型的表现仍显著低于预期，揭示了模型在空间超感知中的四种主要失败模式。这些发现为未来的研究指明了方向。

🎯 应用场景

该研究的潜在应用领域包括智能监控、自动驾驶、虚拟现实和增强现实等。通过提升模型对真实世界场景的理解能力，可以在多种实际场景中实现更高效的决策支持和交互体验，具有重要的实际价值和未来影响。

📄 摘要（原文）

Humans can efficiently parse continuous sensory streams, from hours to years, scaffolding an internal world model that grounds spatial reasoning and prediction. To mimic this capacity, spatial supersensing challenges multimodal models to move beyond linguistic understanding toward true world modeling. However, their benchmark relies on synthetic long videos, formed by concatenating random short clips, and is mostly limited to household scenes, leaving real-world continuity and diversity underexplored. To address the gap, we introduce $\textbf{VSI-Super-Wild}$, a large-scale benchmark for evaluating spatial supersensing over long temporal horizons in diverse in-the-wild scenes. Notably, inspired by cognitive studies on how humans structure experience, we systematically probe the full triad of world state: the agent (observer), objects (scene items), and the environment (places and global layout). In total, VSI-Super-Wild contains $\textbf{6,980}$ human-verified question-answer pairs derived from $\textbf{442}$ real-world videos spanning 8 scene categories, including long-form recordings exceeding 4 hours. Results on VSI-Super-Wild expose a fundamental disconnect: despite advances in static image understanding, models consistently fail at tasks that require coherent world-state tracking over time. We characterize how performance degrades with world-state complexity and temporal horizon, and diagnose four failure modes: spatial collapse, semantic shortcuts, insufficient update, and instance confusion. This taxonomy reveals that models lack mechanisms to bind objects, agents, and environments into a unified spatial world model, a fundamental gap that defines the path forward for spatial supersensing.