PanopticSplatting: End-to-End Panoptic Gaussian Splatting

📄 arXiv: 2503.18073v1 📥 PDF

作者: Yuxuan Xie, Xuan Yu, Changjian Jiang, Sitong Mao, Shunbo Zhou, Rui Fan, Rong Xiong, Yue Wang

分类: cs.CV, cs.RO

发布日期: 2025-03-23

备注: 8 pages, 6 figures

💡 一句话要点

PanopticSplatting：提出端到端全景高斯溅射重建方法，实现场景理解与重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景重建 高斯溅射 端到端学习 场景理解 实例分割 局部交叉注意力 标签混合

📋 核心要点

  1. 现有基于高斯溅射的3D场景理解方法通常是多阶段的，易累积误差，且依赖手工设计的组件。
  2. PanopticSplatting提出一种端到端的全景重建系统，通过查询引导的高斯分割和局部交叉注意力提升2D实例掩码。
  3. 该方法在ScanNet-V2和ScanNet++数据集上表现出强大的3D场景全景重建性能，且对不同的高斯基础模型具有鲁棒性。

📝 摘要（中文）

开放词汇全景重建是一项具有挑战性的任务，旨在同时进行场景重建和理解。最近，已经有基于高斯溅射的3D场景理解方法被提出。然而，这些方法是多阶段的，存在累积误差和对手工设计组件的依赖性。为了简化流程并实现全局优化，我们提出了PanopticSplatting，一个用于开放词汇全景重建的端到端系统。我们的方法引入了查询引导的高斯分割与局部交叉注意力，以端到端的方式提升2D实例掩码，而无需跨帧关联。视锥内的局部交叉注意力有效地减少了训练内存，使我们的模型更容易应用于具有更多高斯和对象的大型场景。此外，为了解决2D伪掩码中噪声标签的挑战，我们提出了标签混合，以促进具有较少噪声浮动点的连贯3D分割，以及2D预测上的标签扭曲，从而增强多视图一致性和分割精度。与基于NeRF和基于高斯的全景重建方法相比，我们的方法在ScanNet-V2和ScanNet++数据集上展示了强大的3D场景全景重建性能。此外，PanopticSplatting可以很容易地推广到高斯溅射的多种变体，并且我们证明了其在不同高斯基础模型上的鲁棒性。

🔬 方法详解

问题定义：论文旨在解决开放词汇全景重建问题，即同时进行场景的3D重建和语义理解。现有方法通常是多阶段的，导致误差累积，并且依赖于手工设计的组件，限制了其泛化能力和效率。

核心思路：论文的核心思路是构建一个端到端的全景重建系统，通过直接从3D高斯表示中进行分割，避免了中间步骤的误差传递。利用查询引导的高斯分割和局部交叉注意力机制，实现高效且准确的实例分割。

技术框架：PanopticSplatting系统的整体框架包括以下几个主要模块：1) 高斯溅射基础模型，用于场景的3D表示；2) 查询引导的高斯分割模块，利用查询向量预测每个高斯点的语义标签；3) 局部交叉注意力模块，在视锥内进行特征交互，减少计算量；4) 标签混合和标签扭曲模块，用于处理2D伪标签中的噪声，提升分割精度和多视图一致性。

关键创新：该方法最重要的创新点在于其端到端的训练方式，避免了多阶段流程中的误差累积。此外，局部交叉注意力机制有效地降低了训练内存需求，使得模型可以应用于更大规模的场景。标签混合和标签扭曲策略则提高了分割的鲁棒性和准确性。

关键设计：局部交叉注意力限制在视锥内，显著减少了计算量。标签混合通过加权平均的方式融合不同视角的标签预测，减少噪声的影响。标签扭曲则利用图像之间的几何关系，将标签从一个视角传递到另一个视角，增强多视图一致性。损失函数包括分割损失和重建损失，共同优化模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PanopticSplatting在ScanNet-V2和ScanNet++数据集上取得了显著的性能提升，与基于NeRF和基于高斯的全景重建方法相比，在分割精度和重建质量上均有提高。此外，该方法具有良好的泛化能力，可以应用于不同的高斯基础模型，证明了其鲁棒性和通用性。实验结果表明，所提出的标签混合和标签扭曲策略能够有效提高分割精度。

🎯 应用场景

PanopticSplatting在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。它可以用于构建具有语义信息的3D地图，帮助机器人理解周围环境，从而实现更智能的导航和交互。此外，该方法还可以应用于虚拟现实场景的创建，为用户提供更逼真的沉浸式体验。

📄 摘要（原文）

Open-vocabulary panoptic reconstruction is a challenging task for simultaneous scene reconstruction and understanding. Recently, methods have been proposed for 3D scene understanding based on Gaussian splatting. However, these methods are multi-staged, suffering from the accumulated errors and the dependence of hand-designed components. To streamline the pipeline and achieve global optimization, we propose PanopticSplatting, an end-to-end system for open-vocabulary panoptic reconstruction. Our method introduces query-guided Gaussian segmentation with local cross attention, lifting 2D instance masks without cross-frame association in an end-to-end way. The local cross attention within view frustum effectively reduces the training memory, making our model more accessible to large scenes with more Gaussians and objects. In addition, to address the challenge of noisy labels in 2D pseudo masks, we propose label blending to promote consistent 3D segmentation with less noisy floaters, as well as label warping on 2D predictions which enhances multi-view coherence and segmentation accuracy. Our method demonstrates strong performances in 3D scene panoptic reconstruction on the ScanNet-V2 and ScanNet++ datasets, compared with both NeRF-based and Gaussian-based panoptic reconstruction methods. Moreover, PanopticSplatting can be easily generalized to numerous variants of Gaussian splatting, and we demonstrate its robustness on different Gaussian base models.