InstanceGaussian: Appearance-Semantic Joint Gaussian Representation for 3D Instance-Level Perception
作者: Haijie Li, Yanmin Wu, Jiarui Meng, Qiankun Gao, Zhiyao Zhang, Ronggang Wang, Jian Zhang
分类: cs.CV
发布日期: 2024-11-28 (更新: 2025-04-15)
备注: 14 pages, accepted by CVPR 2025 as poster
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
InstanceGaussian：面向3D实例级感知的表观-语义联合高斯表示
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 实例分割 场景理解 语义表示 联合学习
📋 核心要点
- 现有3DGS方法在场景理解中面临表观和语义信息不平衡、不一致的问题，导致分割效果不佳。
- InstanceGaussian通过语义支架高斯表示，平衡表观和语义信息，并采用联合训练策略提升分割精度。
- 实验表明，InstanceGaussian在类别无关的3D点级分割任务上取得了SOTA性能，验证了方法的有效性。
📝 摘要（中文）
3D场景理解在自动驾驶、机器人和增强现实等领域具有重要应用。最近，3D高斯溅射（3DGS）作为一种强大的方法出现，它结合了显式建模和神经适应性，以提供高效和详细的场景表示。然而，将3DGS用于场景理解仍然存在三个主要挑战：1）表观和语义之间的不平衡，即用于细粒度纹理建模的密集高斯使用与语义属性的最小需求不一致；2）表观和语义之间的不一致，因为纯粹基于表观的高斯通常会错误地表示对象边界；3）依赖于自顶向下的实例分割方法，这些方法在类别分布不均匀的情况下表现不佳，导致过度分割或分割不足。本文提出了InstanceGaussian，一种联合学习表观和语义特征，同时自适应地聚合实例的方法。我们的贡献包括：i）一种新颖的语义支架GS表示，平衡了表观和语义，以改善特征表示和边界描绘；ii）一种渐进的表观-语义联合训练策略，以提高稳定性和分割精度；iii）一种自底向上、类别无关的实例聚合方法，通过最远点采样和连通分量分析来解决分割挑战。我们的方法在类别无关的开放词汇3D点级分割中实现了最先进的性能，突出了所提出的表示和训练策略的有效性。
🔬 方法详解
问题定义：现有基于3D高斯溅射（3DGS）的场景理解方法，在处理实例分割任务时，存在表观信息和语义信息不平衡的问题。具体来说，3DGS为了精细地建模场景的纹理细节，使用了大量的高斯基元，但这些高斯基元携带的语义信息不足，无法很好地支持实例分割任务。此外，纯粹基于表观信息的高斯基元容易导致对象边界的误判，进一步影响分割效果。现有的方法还依赖于自顶向下的实例分割方法，这些方法在类别分布不均匀的情况下容易出现过分割或欠分割的问题。
核心思路：InstanceGaussian的核心思路是联合学习表观和语义特征，并自适应地聚合实例。通过引入“语义支架”的概念，平衡表观和语义信息，使得每个高斯基元既能表达场景的纹理细节，又能携带丰富的语义信息。同时，设计了一种渐进式的表观-语义联合训练策略，逐步提升分割精度。此外，采用了一种自底向上、类别无关的实例聚合方法，避免了对特定类别的依赖，提高了泛化能力。
技术框架：InstanceGaussian的整体框架包含以下几个主要模块：1）语义支架高斯表示：使用一种新的高斯表示方法，将表观信息和语义信息融合到每个高斯基元中。2）渐进式表观-语义联合训练：设计了一种渐进式的训练策略，先训练表观信息，再逐步引入语义信息，以提高训练的稳定性和分割精度。3）自底向上实例聚合：使用最远点采样和连通分量分析等方法，将高斯基元聚合成不同的实例。
关键创新：InstanceGaussian最重要的技术创新点在于提出了“语义支架高斯表示”的概念。与传统的3DGS方法不同，InstanceGaussian不仅关注场景的表观信息，还关注场景的语义信息，并将两者融合到每个高斯基元中。这种表示方法能够更好地平衡表观和语义信息，从而提高实例分割的精度。此外，自底向上的实例聚合方法也避免了对特定类别的依赖，提高了泛化能力。
关键设计：在语义支架高斯表示中，作者设计了一种新的特征向量，用于表示每个高斯基元的语义信息。在渐进式表观-语义联合训练中，作者使用了一种交叉熵损失函数，用于监督语义信息的学习。在自底向上实例聚合中，作者使用了一种基于距离的聚类算法，用于将高斯基元聚合成不同的实例。具体的参数设置和网络结构在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
InstanceGaussian在类别无关的开放词汇3D点级分割任务上取得了state-of-the-art的性能。具体来说，在ScanNet数据集上，InstanceGaussian的mAP指标比之前的最佳方法提高了显著的幅度。实验结果表明，InstanceGaussian提出的语义支架高斯表示和渐进式表观-语义联合训练策略能够有效地提高实例分割的精度。
🎯 应用场景
InstanceGaussian在自动驾驶、机器人和增强现实等领域具有广泛的应用前景。例如，在自动驾驶中，InstanceGaussian可以用于精确地识别和分割道路上的车辆、行人等物体，从而提高自动驾驶系统的安全性。在机器人领域，InstanceGaussian可以用于构建机器人的环境地图，并帮助机器人进行导航和物体操作。在增强现实领域，InstanceGaussian可以用于将虚拟物体精确地叠加到真实场景中，从而提供更加逼真的增强现实体验。
📄 摘要（原文）
3D scene understanding has become an essential area of research with applications in autonomous driving, robotics, and augmented reality. Recently, 3D Gaussian Splatting (3DGS) has emerged as a powerful approach, combining explicit modeling with neural adaptability to provide efficient and detailed scene representations. However, three major challenges remain in leveraging 3DGS for scene understanding: 1) an imbalance between appearance and semantics, where dense Gaussian usage for fine-grained texture modeling does not align with the minimal requirements for semantic attributes; 2) inconsistencies between appearance and semantics, as purely appearance-based Gaussians often misrepresent object boundaries; and 3) reliance on top-down instance segmentation methods, which struggle with uneven category distributions, leading to over- or under-segmentation. In this work, we propose InstanceGaussian, a method that jointly learns appearance and semantic features while adaptively aggregating instances. Our contributions include: i) a novel Semantic-Scaffold-GS representation balancing appearance and semantics to improve feature representations and boundary delineation; ii) a progressive appearance-semantic joint training strategy to enhance stability and segmentation accuracy; and iii) a bottom-up, category-agnostic instance aggregation approach that addresses segmentation challenges through farthest point sampling and connected component analysis. Our approach achieves state-of-the-art performance in category-agnostic, open-vocabulary 3D point-level segmentation, highlighting the effectiveness of the proposed representation and training strategies. Project page: https://lhj-git.github.io/InstanceGaussian/