ChronoGraph: Functional 4D Scene Graphs with Vision-Language Models for Interaction Understanding and Grounded Planning
作者: Chenyangguang Zhang, Malgorzata Gwiazda, Guanlong Jiao, Yuanchen Ju, Federico Tombari, Koushil Sreenath, Marc Pollefeys, Sunghwan Hong
分类: cs.AI
发布日期: 2026-09-30
💡 一句话要点
提出ChronoGraph以解决4D交互理解与规划问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 4D场景图 交互理解 空间规划 视觉语言模型 机器人操控 强化学习 多模态融合
📋 核心要点
- 现有方法在理解4D交互和空间规划方面存在不足，难以有效连接过去的动作与未来的场景变化。
- ChronoGraph通过构建功能性4D场景图，将动作与状态变化关联，提供了理解与规划的统一框架。
- 实验结果显示，ChronoGraphVLM在多个模型规模上超越了预训练基线，并在真实场景中展示了良好的移动操控能力。
📝 摘要（中文）
具身智能体必须确定行动位置、预测场景变化并解释观察结果以指导后续行动。为此，ChronoGraph引入了一种功能性4D场景图，将对可供性部分的动作与语义和几何状态变化联系起来。通过将观察到的和预期的转变以相同形式表示，ChronoGraph为理解和规划提供了共享基础。我们构建了ChronoGraphBench，通过自动数据引擎将人类交互视频和模拟机器人轨迹转换为图注释问题，以训练和评估视觉语言模型（VLMs）。我们通过两阶段的适应性训练方法训练ChronoGraphVLM，显著提升了模型在零样本转移任务中的表现，并在真实世界演示中展示了其在移动操控中的有效性。
🔬 方法详解
问题定义：本论文旨在解决具身智能体在4D交互理解与空间规划中的挑战，现有方法无法有效整合过去的动作与未来的场景变化，导致智能体在决策时缺乏准确性。
核心思路：ChronoGraph的核心思路是构建功能性4D场景图，将动作与语义和几何状态变化相连接，通过统一的图结构来理解和规划交互。这样的设计使得智能体能够更好地预测和理解场景变化。
技术框架：整体架构包括数据收集、图构建、模型训练和评估四个主要模块。首先，通过自动数据引擎生成图注释问题，然后训练ChronoGraphVLM，采用图链思维的监督微调和联合4D图强化学习来优化模型。
关键创新：最重要的技术创新在于将观察到的和预期的场景变化统一表示为图结构，提供了一个共享的理解和规划基础。这一方法与传统的分离处理方式有本质区别。
关键设计：在训练过程中，采用了图链思维的监督微调策略，强调模型在重构观察转变和预测未来转变时的表现。此外，联合4D图强化学习直接奖励图属性和答案的正确性，确保模型的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ChronoGraphVLM在多个模型规模上均显著超越了预训练基线，尤其在零样本转移任务中表现优异，展示了在真实世界中的有效性。具体而言，模型在移动操控任务中无需额外微调即可利用现有机器人技能，展现了良好的适应性和实用性。
🎯 应用场景
ChronoGraph的研究成果在多个领域具有潜在应用价值，包括机器人操控、智能家居系统和人机交互等。通过增强智能体的交互理解能力和规划能力，该技术能够提高自动化系统的灵活性和智能化水平，推动智能机器人在复杂环境中的应用。未来，随着技术的进一步发展，ChronoGraph可能在更广泛的场景中发挥重要作用。
📄 摘要（原文）
Embodied agents must determine where to act, anticipate the resulting scene changes, and interpret observed outcomes to guide subsequent actions. This requires connecting 4D interaction understanding, which explains how past actions changed the scene, with spatially grounded planning, which determines how and where to act toward a goal and anticipates the resulting scene changes. We introduce ChronoGraph, a functional 4D scene graph that links actions on affordance parts to semantic and geometric state changes. By representing observed and anticipated transitions in the same form, it provides a shared basis for understanding and planning. We construct ChronoGraphBench through an automatic data engine that converts human-interaction videos and simulated robot trajectories into graph-annotated questions for training and evaluating Vision-Language Models (VLMs) on both tasks. Using these annotations, we train ChronoGraphVLM by adapting pretrained VLMs in two stages. Graph-as-Chain-of-Thought supervised fine-tuning teaches the models to reconstruct observed transitions and predict future ones as graph traces before answering. Subsequent joint 4D graph reinforcement learning directly rewards graph properties and answer correctness. Experiments across model scales show improvements over the corresponding pretrained baselines and zero-shot transfer to VLM4D. Real-world demonstrations further show that graph-based planning and affordance grounding support mobile manipulation through existing robot skills without additional fine-tuning.