IGGT4D: Streaming 4D Instance-Grounded Geometry Transformer

📄 arXiv: 2607.19228v1 📥 PDF

作者: Zhengyu Zou, Hao Li, Kuixuan Jiao, Liu Liu, Tingyang Xiao, Xiaolin Zhou, Fangzhou Hong, Zhizhong Su, Dingwen Zhang, Ziwei Liu

分类: cs.CV

发布日期: 2026-07-21

备注: Project Page: https://iggt4d.github.io

💡 一句话要点

提出IGGT4D以解决动态场景下的实例基础几何理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态场景理解 实例基础学习 几何重建 时空建模 在线推理 深度学习 计算机视觉

📋 核心要点

  1. 现有的流媒体方法主要集中在几何重建上，缺乏对动态场景中对象的时间一致性理解。
  2. IGGT4D通过因果时空建模，顺序处理视频帧，逐步更新相机运动和对象身份，实现了统一的几何实例理解。
  3. 实验结果显示，IGGT4D在多个任务上超越了现有基线，尤其是在动态场景的3D重建和实例跟踪方面表现优异。

📝 摘要（中文）

现实世界的空间智能要求代理能够理解来自连续视频流的场景，其中物体随时间移动、持续、消失和重新出现。尽管近期的空间基础模型已实现可泛化的前馈3D重建，但大多数流媒体方法仍以几何为中心，缺乏时间一致的对象级理解。为此，本文提出IGGT4D，一种用于在线4D场景理解的流媒体实例基础几何Transformer。IGGT4D顺序处理视频帧，通过因果时空建模重用历史上下文，并逐步更新相机运动、几何和对象身份的统一表示。这使得在动态环境中实现几何实例一致性的长序列前馈重建成为可能。为了解决缺乏高质量4D监督的问题，我们构建了InsScene4D-147K，这是一个大规模数据集，涵盖真实/合成和静态/动态场景，包含RGB图像、深度、姿态和通过自动几何引导注释管道生成的时间一致实例掩码。实验表明，IGGT4D在3D重建、姿态估计、实例空间跟踪和开放词汇分割任务中优于现有流媒体基线，同时保持对长动态序列的可扩展在线推理。

🔬 方法详解

问题定义：本文旨在解决动态场景下的实例基础几何理解问题，现有方法往往缺乏时间一致性，无法有效处理物体的动态变化。

核心思路：IGGT4D通过顺序处理视频帧和因果时空建模，重用历史上下文信息，逐步更新场景的几何和对象身份，从而实现动态环境中的几何实例一致性。

技术框架：IGGT4D的整体架构包括视频帧的顺序输入、历史上下文的重用模块、相机运动和几何表示的更新模块，以及对象身份的管理模块，形成一个闭环的在线推理系统。

关键创新：IGGT4D的主要创新在于其因果时空建模方法，使得模型能够在长序列中保持几何与实例的一致性，这与传统的几何中心方法有本质区别。

关键设计：在设计上，IGGT4D采用了特定的损失函数以确保几何和实例的同步更新，并在网络结构中引入了多层次的特征提取模块，以增强对动态场景的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，IGGT4D在3D重建、姿态估计和实例空间跟踪等任务上均表现出色，超越了现有的流媒体基线，具体性能提升幅度达到XX%。这一结果表明IGGT4D在处理长动态序列时的有效性和可扩展性，具有重要的实际应用价值。

🎯 应用场景

IGGT4D在动态场景理解方面的研究具有广泛的应用潜力，包括自动驾驶、智能监控、增强现实等领域。通过实现对动态物体的准确跟踪和识别，该技术能够提升人机交互的智能化水平，推动相关行业的发展。未来，IGGT4D的技术可进一步扩展到更复杂的场景理解任务中，助力更高层次的人工智能应用。

📄 摘要（原文）

Real-world spatial intelligence requires agents to understand scenes from continuous video streams, where objects move, persist, disappear, and reappear over time. While recent spatial foundation models have enabled generalizable feed-forward 3D reconstruction, most streaming methods remain geometry-centric and lack temporally consistent object-level understanding. Meanwhile, existing semantic reconstruction and 3D-aware vision-language methods largely rely on externally extracted 2D semantic cues or loosely coupled geometry inputs, limiting unified geometry-instance learning in long dynamic scenes. In this paper, we propose IGGT4D, a streaming instance-grounded geometry Transformer for online 4D scene understanding. IGGT4D processes video frames sequentially, reuses historical context through causal spatial-temporal modeling, and incrementally updates a unified representation of camera motion, geometry, and object identity. This enables long-sequence feed-forward reconstruction with geometry-instance consistency in dynamic environments. To address the lack of high-quality 4D supervision, we further construct InsScene4D-147K, a large-scale dataset spanning real/synthetic and static/dynamic scenes, with RGB images, depth, poses, and temporally consistent instance masks generated by an automated geometry-guided annotation pipeline. Experiments on 3D reconstruction, pose estimation, instance spatial tracking, and open-vocabulary segmentation demonstrate that IGGT4D outperforms existing streaming baselines while maintaining scalable online inference for long dynamic sequences.