TRACKGRAPH: Online Open-Vocabulary 3D Scene Graphs via Image-Space Tracking

📄 arXiv: 2609.31005v1 📥 PDF

作者: Peder Borge Hellesylt, Albert Gassol Puigjaner, Kostas Alexis, Annette Stahl

分类: cs.CV, cs.RO

发布日期: 2026-09-25

💡 一句话要点

提出TRACKGRAPH以解决在线开放词汇3D场景图构建问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇 3D场景图 实时处理 视觉-语言推理 机器人导航 环境理解

📋 核心要点

  1. 现有的3D场景图构建方法在处理开放词汇和实时性方面存在显著不足，导致推理效率低下。
  2. TRACKGRAPH通过在图像流中直接维护短期2D掩码身份，结合3D段融合，显著提升了处理速度和准确性。
  3. 在多个数据集上，TRACKGRAPH展示了优于现有方法的性能，尤其在开放词汇分割和检索任务中表现突出。

📝 摘要（中文）

开放词汇3D地图使机器人能够通过自然语言推理未知环境。然而，现有系统通常需要对每帧图像进行分割、将检测结果与持久3D段关联，并频繁进行成本高昂的视觉-语言推理。本文提出TRACKGRAPH，一个在线开放词汇系统，直接在图像流中维护短期2D掩码身份，然后将这些段融合为3D。使用FastSAM掩码和CLIP特征在稀疏关键帧上计算，同时在高频率下使用密集的DINOv3特征传播掩码。最终的跟踪掩码被融合到一个层次化场景图中的类无关3D段层中，3D关联处理跟踪中断和长期重访。在Replica、ScanNet++和HM3D上，TRACKGRAPH在开放词汇分割和检索方面表现出色，且在NVIDIA A100上比ViT-H OVI-MAP快1.7倍，GPU内存使用量减少3.3倍。

🔬 方法详解

问题定义：本文旨在解决现有3D场景图构建方法在开放词汇推理和实时处理中的不足，尤其是高昂的计算成本和效率低下的问题。

核心思路：TRACKGRAPH的核心思路是通过在图像流中实时维护2D掩码身份，减少对视觉-语言推理的依赖，从而提高处理速度和准确性。

技术框架：该方法的整体架构包括短期2D掩码跟踪、3D段融合和层次化场景图构建。关键模块包括FastSAM掩码生成、CLIP特征提取和DINOv3特征传播。

关键创新：TRACKGRAPH的主要创新在于其高效的掩码跟踪机制和类无关的3D段融合方法，使得系统能够在动态环境中保持高效的性能。

关键设计：在技术细节上，使用FastSAM和CLIP特征在关键帧上进行计算，DINOv3特征用于高频率的掩码传播，确保了系统在实时应用中的高效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个数据集上，TRACKGRAPH在开放词汇分割和检索任务中表现优异，尤其在Replica数据集上实现了0.50的同义词频率。此外，该方法在NVIDIA A100上比ViT-H OVI-MAP快1.7倍，且GPU内存使用量减少3.3倍，显示出显著的性能提升。

🎯 应用场景

TRACKGRAPH的研究成果在机器人导航、环境理解和人机交互等领域具有广泛的应用潜力。通过实现开放词汇的3D场景图构建，机器人能够更好地理解和适应未知环境，提升自主决策能力。

📄 摘要（原文）

Open-vocabulary 3D maps enable robots to reason about previously unknown environments using natural language. However, existing systems typically segment every incoming image, associate detections with persistent 3D segments, and frequently perform costly Vision-Language (VL) inference. We present TRACKGRAPH, an online open-vocabulary system that maintains short-term 2D mask identity directly in the image stream before fusing segments into 3D. FastSAM masks and CLIP features are computed at sparse keyframes, while dense DINOv3 features are used to propagate masks at a high rate in between. The resulting tracked masks are fused into a class-agnostic 3D segment layer within a hierarchical scene graph, with 3D association handling tracking interruptions and long-term revisits. Compact multi-view CLIP embeddings enable open-vocabulary retrieval. Across Replica, ScanNet++, and HM3D, TRACKGRAPH achieves competitive open-vocabulary segmentation and retrieval against state-of-the-art mapping methods, including the highest synonym frequency on Replica (0.50). On the same NVIDIA A100, it is 1.7x faster and uses 3.3x less GPU memory than ViT-H OVI-MAP. Real-world quadruped deployments demonstrate onboard scene graph construction and object search at 7.5Hz, while recorded drone data is used to test the method under aerial viewpoints.