PanoGraphGS: Unifying Panoptic Segmentation and Hierarchical 3D Scene Graphs with Gaussian Splatting

📄 arXiv: 2610.27696v1 📥 PDF

作者: Jinghan Gao, Siyu Wang, Dongyu Feng, Yiyuan Pan, Rong Xiong

分类: cs.CV, cs.RO

发布日期: 2026-10-20

备注: 9 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出PanoGraphGS以解决3D场景图构建与全景分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景图 全景分割 高斯表示 层次结构 语义学习 实例学习 自动驾驶 机器人导航

📋 核心要点

  1. 现有方法在构建层次化3D场景图时，难以在不同视角间保持语义区域和对象实例的一致性。
  2. PanoGraphGS通过整合全景3D高斯表示学习与层次场景图构建，提供了一种新的框架，支持跨视角的全景分割。
  3. 在实验中，PanoGraphGS在对象节点准确率上比最强基线提高了50%以上，并在2D全景分割中表现出色。

📝 摘要（中文）

3D场景图通过将物理实体及其包含和空间关系组织成层次化地图，支持基于语言的导航。为此，本文提出了PanoGraphGS，一个统一框架，整合了全景3D高斯表示学习与层次3D场景图构建。该框架在共享的高斯几何上学习语义和实例特征，通过基于原型的语义学习和基于关联的实例学习，实现了跨视角的一致性全景预测。所学表示支持新视角的全景分割和直接的高斯级全景解码。语义感知场景图模块进一步恢复了包含和空间关系的楼层-房间-物体层次。实验结果表明，PanoGraphGS在3D场景图识别中，平均在Replica和NaviGS数据集上比最强基线提高了50%以上的对象节点准确率，同时在2D全景分割中也达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决在不同视角下构建一致的3D场景图的问题。现有方法在语义区域和对象实例的区分上存在不足，导致场景理解的准确性降低。

核心思路：PanoGraphGS的核心思路是通过共享的高斯几何结构来学习语义和实例特征，利用原型和关联学习方法实现跨视角的一致性预测。

技术框架：该框架包括两个主要模块：全景3D高斯表示学习和层次3D场景图构建。前者负责学习语义和实例特征，后者则通过语义感知模块恢复层次结构。

关键创新：PanoGraphGS的创新在于将高斯表示与层次场景图结合，提供了一种新的视角来处理全景分割和场景理解问题，显著提高了准确性。

关键设计：在设计中，采用了基于原型的语义学习和基于关联的实例学习，确保了模型在不同视角下的预测一致性，同时使用了特定的损失函数来优化高斯表示的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，PanoGraphGS在对象节点准确率上比最强基线提高了50%以上，且在2D全景分割任务中表现出色，达到了最先进的性能。这些结果表明该框架在3D场景理解和全景分割中的有效性。

🎯 应用场景

PanoGraphGS在自动驾驶、机器人导航和增强现实等领域具有广泛的应用潜力。通过提供准确的3D场景理解和全景分割，该框架能够提升智能系统在复杂环境中的决策能力和交互体验，未来可能推动相关技术的发展与应用。

📄 摘要（原文）

3D scene graphs support language-guided navigation by organizing physical entities and their containment and spatial relations into hierarchical maps. Building such structured maps requires a scene representation that consistently distinguishes semantic regions and object instances across viewpoints. To this end, we present PanoGraphGS, a unified framework that integrates panoptic 3D Gaussian representation learning with hierarchical 3D scene graph construction. The framework learns semantic and instance features on shared Gaussian geometry. Prototype-based semantic learning and association-based instance learning produce consistent panoptic predictions across viewpoints. The learned representation supports novel-view panoptic segmentation and direct Gaussian-level panoptic decoding. A semantic-aware scene graph module further recovers a floor-room-stuff-object hierarchy with containment and spatial relations. We further release NaviGS, a real-world dataset for panoramic scene understanding. The dataset provides 3DGS, mesh, RGB, semantic, and depth data. For 3D scene graph identification, PanoGraphGS outperforms the strongest evaluated baseline in object-node accuracy by more than 50\% points on average across Replica and NaviGS. PanoGraphGS also achieves state-of-the-art performance among the evaluated methods in 2D panoptic segmentation. These results demonstrate the effectiveness of PanoGraphGS in both hierarchical 3D scene understanding and 2D panoptic segmentation. The project website is available at: https://github.com/gaojh0333/PanoGraphGS.