Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding

📄 arXiv: 2603.19235 📥 PDF

作者: Xianjin Wu, Dingkang Liang, Tianrui Feng, Kui Xia, Yumeng Zhang, Xiaofan Li, Xiao Tan, Xiang Bai

分类: cs.CV, cs.RO

发布日期: 2026-07-20

💡 一句话要点

提出VEGA-3D以解决多模态大语言模型的空间盲点问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 空间理解 隐式空间先验 视频生成模型 几何推理 VEGA-3D 物理动态 时空特征提取

📋 核心要点

  1. 现有多模态大语言模型在空间理解方面存在显著不足，尤其是在几何推理和物理动态方面。
  2. 本文提出VEGA-3D框架，利用视频生成模型中的隐式空间先验，增强模型的几何理解能力。
  3. 实验结果显示，VEGA-3D在多个基准测试中超越了现有方法，验证了生成先验的有效性。

📝 摘要（中文）

尽管多模态大语言模型展现出令人印象深刻的语义能力，但它们在细粒度几何推理和物理动态方面常常存在空间盲点。现有解决方案通常依赖于显式的3D模态或复杂的几何框架，受限于数据稀缺和泛化挑战。本文提出了一种范式转变，通过利用大规模视频生成模型中的隐式空间先验，提出VEGA-3D（视频提取生成意识），将预训练的视频扩散模型重新利用为潜在世界模拟器。通过从中间噪声水平提取时空特征，并通过令牌级自适应门控融合机制将其与语义表示相结合，我们在没有显式3D监督的情况下丰富了多模态大语言模型的几何线索。大量实验表明，该方法在3D场景理解、空间推理和具身操作基准上超越了现有最先进的基线，验证了生成先验为物理世界理解提供了可扩展的基础。

🔬 方法详解

问题定义：本文旨在解决多模态大语言模型在空间理解中的盲点，尤其是在几何推理和物理动态方面的不足。现有方法依赖显式3D模态，面临数据稀缺和泛化能力差的问题。

核心思路：通过利用大规模视频生成模型中隐式学习到的3D结构先验和物理规律，提出VEGA-3D框架，将其作为潜在世界模拟器，增强模型的空间理解能力。

技术框架：VEGA-3D框架包括视频扩散模型的重利用、时空特征提取和语义表示的自适应融合。首先，从中间噪声水平提取时空特征，然后通过门控机制与语义信息结合，形成丰富的几何线索。

关键创新：VEGA-3D的创新在于将隐式空间先验引入多模态大语言模型中，避免了对显式3D监督的依赖，显著提升了模型的空间推理能力。

关键设计：在设计中，采用了令牌级自适应门控融合机制，以优化时空特征与语义表示的结合，确保模型在不同任务中的适应性和性能提升。具体的参数设置和损失函数设计在实验中进行了详细验证。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个3D场景理解、空间推理和具身操作基准测试中，VEGA-3D的表现超越了现有最先进的基线，具体提升幅度达到XX%，验证了生成先验在物理世界理解中的有效性和可扩展性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、虚拟现实和增强现实等场景，能够显著提升系统对物理环境的理解和交互能力。未来，VEGA-3D有望推动更智能的多模态系统的发展，促进人机协作和智能决策的进步。

📄 摘要（原文）

While Multimodal Large Language Models demonstrate impressive semantic capabilities, they often suffer from spatial blindness, struggling with fine-grained geometric reasoning and physical dynamics. Existing solutions typically rely on explicit 3D modalities or complex geometric scaffolding, which are limited by data scarcity and generalization challenges. In this work, we propose a paradigm shift by leveraging the implicit spatial prior within large-scale video generation models. We posit that to synthesize temporally coherent videos, these models inherently learn robust 3D structural priors and physical laws. We introduce VEGA-3D (Video Extracted Generative Awareness), a plug-and-play framework that repurposes a pre-trained video diffusion model as a Latent World Simulator. By extracting spatiotemporal features from intermediate noise levels and integrating them with semantic representations via a token-level adaptive gated fusion mechanism, we enrich MLLMs with dense geometric cues without explicit 3D supervision. Extensive experiments across 3D scene understanding, spatial reasoning, and embodied manipulation benchmarks demonstrate that our method outperforms state-of-the-art baselines, validating that generative priors provide a scalable foundation for physical-world understanding. Code is publicly available atthis https URL.