OpenSplatGraph: From Dense Semantic Maps to Structured Scene Graphs for Open-Vocabulary Robot Perception

📄 arXiv: 2610.07569v1 📥 PDF

作者: Binh Long Nguyen, Kien Nguyen, Clinton Fookes, Peyman Moghadam

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-06

备注: Accepted to ACCV 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出OpenSplatGraph以解决机器人感知中的语义映射问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义映射 机器人感知 开放词汇 场景图 对象提取 高斯映射 结构化推理

📋 核心要点

  1. 现有的3D映射方法通常将语义表示为非结构化特征场，限制了对象中心的推理能力。
  2. OpenSplatGraph框架通过直接从高斯基础的开放词汇语义图构建持久的3D场景图，增强了对象提取的可靠性。
  3. 在标准3D场景理解基准和真实世界实验中，OpenSplatGraph展现出竞争力的性能，支持语言引导的对象定位和关系推理。

📝 摘要（中文）

密集的3D语义映射对于复杂环境中的机器人感知至关重要。近期基于3D高斯点云的映射方法实现了高保真几何和高效的开放词汇感知，但通常将语义表示为非结构化特征场，限制了对象中心的推理。相对而言，3D场景图明确建模对象及其关系以支持结构化推理，但通常基于稀疏几何表示构建，未能充分利用密集语义图。在本研究中，我们提出了OpenSplatGraph，一个统一框架，直接从在线高斯基础的开放词汇语义图构建持久的3D场景图。该框架增强了密集语义图，维护轻量级观察统计的可靠性感知语义场，以支持基于信心的查询条件对象提取。提取的对象实例与持久图节点关联，允许对象属性和关系在观察和查询中逐步更新。通过紧密结合密集语义映射与持久对象中心表示，我们的框架支持语言引导的对象定位和结构化关系推理，同时保持高斯映射的几何保真性。对标准3D场景理解基准和真实世界机器人实验的全面评估表明，OpenSplatGraph在在线开放词汇感知和下游机器人任务中实现了竞争力的性能。

🔬 方法详解

问题定义：本论文旨在解决现有3D映射方法在语义表示上的不足，尤其是如何从密集语义图中构建结构化的场景图以支持对象中心推理。现有方法通常依赖稀疏几何表示，未能充分利用密集语义信息。

核心思路：OpenSplatGraph的核心思路是将密集语义图与持久对象中心表示紧密结合，通过增强的可靠性感知语义场来支持对象提取和更新。这种设计使得系统能够在动态环境中持续更新对象信息。

技术框架：该框架包括几个主要模块：首先是在线高斯基础的开放词汇语义图构建模块，其次是可靠性感知语义场的增强模块，最后是持久图节点的对象实例关联模块。这些模块协同工作，实现了高效的对象提取和关系推理。

关键创新：最重要的技术创新在于提出了一种新的框架，能够直接从密集语义图中构建持久的3D场景图，并通过可靠性感知语义场来增强对象提取的信心。这与传统方法的稀疏表示形成了鲜明对比。

关键设计：在设计中，采用了轻量级的观察统计来维护对象的可靠性信息，确保在不同观察和查询条件下能够准确提取对象实例。此外，框架支持增量更新对象属性和关系，提升了系统的灵活性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在标准3D场景理解基准上，OpenSplatGraph表现出色，相较于传统方法，其在线开放词汇感知性能提升显著，具体性能数据未详细披露，但实验结果表明其在下游机器人任务中具有竞争力的优势。

🎯 应用场景

OpenSplatGraph的研究成果在多个领域具有潜在应用价值，包括智能机器人、自动驾驶、增强现实等。通过实现高效的对象识别和关系推理，该框架能够提升机器人在复杂环境中的自主决策能力，推动智能系统的进一步发展。

📄 摘要（原文）

Dense 3D mapping with semantic understanding is essential for robotic perception in complex environments. Recent 3D Gaussian Splatting-based mapping approaches enable high-fidelity geometry and efficient open-vocabulary perception, but typically represent semantics as unstructured feature fields that limit object-centric reasoning. In contrast, 3D scene graphs explicitly model objects and their relationships for structured reasoning, but are commonly constructed from sparse geometric representations that do not fully exploit dense semantic maps. In this work, we present OpenSplatGraph, a unified framework that constructs persistent 3D scene graphs directly from an online Gaussian-based open-vocabulary semantic map. The proposed framework augments the dense semantic map with a reliability-aware semantic field that maintains lightweight observation statistics for confidence-aware, query-conditioned object extraction. Extracted object instances are associated with persistent graph nodes, allowing object attributes and relationships to be incrementally updated across observations and queries. By tightly coupling dense semantic mapping with persistent object-centric representations, our framework supports both language-guided object grounding and structured relational reasoning while preserving the geometric fidelity of Gaussian-based mapping. Comprehensive evaluations on standard 3D scene understanding benchmarks and real-world robotic experiments demonstrate that OpenSplatGraph achieves competitive performance for online open-vocabulary perception and downstream robotic tasks. Project page: https://csiro-robotics.github.io/OpenSplatGraph.