SNOW: Spatio-Temporal Scene Understanding with World Knowledge for Open-World Embodied Reasoning

📄 arXiv: 2512.16461v1 📥 PDF

作者: Tin Stribor Sohn, Maximilian Dillitzer, Jason J. Corso, Eric Sax

分类: cs.CV, cs.RO

发布日期: 2025-12-18

💡 一句话要点

SNOW：融合世界知识的时空场景理解框架，用于开放世界具身推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 4D场景理解 具身推理 视觉-语言模型 时空场景图 机器人 开放世界 点云处理

📋 核心要点

  1. 现有方法在动态环境下的机器人导航和交互中，缺乏对场景的全面时空理解，VLM虽然有语义信息，但缺乏几何和时间动态的关联。
  2. SNOW框架通过融合VLM的语义信息、点云几何以及时间一致性，构建统一的4D场景图，为机器人提供更丰富的环境理解。
  3. 实验结果表明，SNOW在4D场景理解和空间grounded推理方面达到了新的state-of-the-art性能，验证了结构化4D先验的重要性。

📝 摘要（中文）

自主机器人系统需要对动态环境进行时空理解，以确保可靠的导航和交互。视觉-语言模型(VLM)提供了开放世界的语义先验，但缺乏3D几何和时间动态的 grounding。几何感知能够捕获结构和运动，但语义信息稀疏。我们提出了SNOW（Scene Understanding with Open-World Knowledge），一个无需训练且与骨干网络无关的框架，用于统一的4D场景理解，它集成了VLM衍生的语义与点云几何和时间一致性。SNOW处理同步的RGB图像和3D点云，使用HDBSCAN聚类生成对象级别的提议，指导基于SAM2的分割。每个分割区域通过我们提出的时空Token化块编码(STEP)进行编码，产生多模态tokens，捕获局部语义、几何和时间属性。这些tokens被增量式地集成到4D场景图(4DSG)中，作为下游推理的4D先验。轻量级的SLAM后端在环境中对所有STEP tokens进行空间锚定，提供全局参考对齐，并确保跨时间无歧义的空间grounding。由此产生的4DSG形成了一个可查询的统一世界模型，通过该模型，VLM可以直接解释空间场景结构和时间动态。在各种基准测试上的实验表明，SNOW能够实现精确的4D场景理解和空间grounded推理，从而在多个设置中设置了新的最先进性能，突出了结构化4D先验对于具身推理和自主机器人的重要性。

🔬 方法详解

问题定义：现有方法在机器人进行具身推理时，难以将视觉-语言模型的语义知识与3D几何信息和时间动态信息有效结合。VLM缺乏空间几何的精确 grounding，而几何感知方法又缺乏丰富的语义信息，导致机器人难以理解和推理动态变化的复杂环境。

核心思路：SNOW的核心思路是将VLM提供的开放世界语义知识与3D点云几何信息以及时间一致性信息进行融合，构建一个统一的、可查询的4D场景图（4DSG）。通过4DSG，机器人可以同时理解场景的空间结构和时间动态，从而实现更有效的具身推理。

技术框架：SNOW框架主要包含以下几个阶段：1) 使用HDBSCAN聚类生成对象级别的提议；2) 使用SAM2进行分割；3) 通过提出的时空Token化块编码(STEP)对每个分割区域进行编码，生成多模态tokens；4) 将这些tokens增量式地集成到4D场景图(4DSG)中；5) 使用轻量级的SLAM后端对所有STEP tokens进行空间锚定。

关键创新：SNOW的关键创新在于提出了一个无需训练且与骨干网络无关的框架，能够将VLM的语义知识、3D几何信息和时间动态信息进行有效融合。此外，提出的时空Token化块编码(STEP)能够有效地提取局部语义、几何和时间属性，并将其编码为多模态tokens。

关键设计：SNOW使用HDBSCAN聚类来生成对象级别的提议，并使用SAM2进行分割，这使得SNOW能够有效地处理复杂的场景。STEP编码器将分割区域划分为小的patch，并提取每个patch的语义、几何和时间特征，然后将这些特征组合成一个多模态token。轻量级的SLAM后端使用g2o进行优化，以实现精确的空间锚定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个基准测试上验证了SNOW的有效性，结果表明SNOW在4D场景理解和空间grounded推理方面达到了新的state-of-the-art性能。具体数据未知，但强调了SNOW在多个设置中超越了现有方法，证明了结构化4D先验对于具身推理的重要性。

🎯 应用场景

SNOW框架可应用于各种需要机器人进行复杂环境理解和推理的场景，例如自主导航、物体操作、人机交互、以及智能家居等。通过提供更全面和准确的场景理解，SNOW可以帮助机器人更好地完成任务，提高其自主性和可靠性，并为未来的机器人应用奠定基础。

📄 摘要（原文）

Autonomous robotic systems require spatio-temporal understanding of dynamic environments to ensure reliable navigation and interaction. While Vision-Language Models (VLMs) provide open-world semantic priors, they lack grounding in 3D geometry and temporal dynamics. Conversely, geometric perception captures structure and motion but remains semantically sparse. We propose SNOW (Scene Understanding with Open-World Knowledge), a training-free and backbone-agnostic framework for unified 4D scene understanding that integrates VLM-derived semantics with point cloud geometry and temporal consistency. SNOW processes synchronized RGB images and 3D point clouds, using HDBSCAN clustering to generate object-level proposals that guide SAM2-based segmentation. Each segmented region is encoded through our proposed Spatio-Temporal Tokenized Patch Encoding (STEP), producing multimodal tokens that capture localized semantic, geometric, and temporal attributes. These tokens are incrementally integrated into a 4D Scene Graph (4DSG), which serves as 4D prior for downstream reasoning. A lightweight SLAM backend anchors all STEP tokens spatially in the environment, providing the global reference alignment, and ensuring unambiguous spatial grounding across time. The resulting 4DSG forms a queryable, unified world model through which VLMs can directly interpret spatial scene structure and temporal dynamics. Experiments on a diverse set of benchmarks demonstrate that SNOW enables precise 4D scene understanding and spatially grounded inference, thereby setting new state-of-the-art performance in several settings, highlighting the importance of structured 4D priors for embodied reasoning and autonomous robotics.