Hybrid Gaussians for Robust Open-Vocabulary 3D Segmentation with Multi-View Object Association and Boundary Refinement

📄 arXiv: 2609.27462v1 📥 PDF

作者: Xueqi Qiu, Yueming Sun, Tianyu Zhang, Yuxuan Xia, Yang Long

分类: cs.CV

发布日期: 2026-09-23

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出混合高斯模型以解决开放词汇3D分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 3D分割 混合高斯模型 多视图关联 边界优化 语义对比学习 计算机视觉

📋 核心要点

  1. 现有的开放词汇3D分割方法在处理真实图像序列时，因2D监督信息的不完整性和噪声影响，导致多视图身份分配不稳定。
  2. 本文提出混合高斯模型，通过联合建模物体关联和语言对齐语义，利用多视图物体关联机制提升身份一致性和语义区分能力。
  3. 在LERF数据集上，本文方法实现了59.1%的mIoU，相较于基线提升了13.4%，显示出显著的性能提升。

📝 摘要（中文）

开放词汇3D分割旨在通过自由形式的文本查询定位物体，但在真实图像序列中仍面临挑战：不完整或噪声的2D监督会导致多视图身份分配不稳定，而全场景语义学习则削弱了物体级别的可区分性。本文提出混合高斯模型，这是一种统一的3D表示，联合建模物体关联和语言对齐语义。其多视图物体关联机制结合观察融合和语义对比学习，以提高身份一致性和语义区分性。边界重建优化进一步细化局部边界结构，以改善轮廓质量。在LERF和3D-OVS上的实验结果表明，该方法在定量和定性上均表现出色，在LERF上实现了59.1%的mIoU，相较于基线提升了13.4%。

🔬 方法详解

问题定义：本文旨在解决开放词汇3D分割中的身份分配不稳定和物体级别可区分性不足的问题。现有方法在处理真实图像序列时，常因2D监督信息的缺失或噪声而导致性能下降。

核心思路：提出混合高斯模型，结合物体关联和语言对齐的语义信息，通过多视图物体关联机制来增强身份一致性和语义区分性，旨在提高3D分割的鲁棒性。

技术框架：整体架构包括多个模块：首先进行观察融合以整合多视图信息，然后通过语义对比学习提升语义区分能力，最后通过边界重建优化来细化局部边界结构。

关键创新：最重要的创新在于混合高斯模型的引入，它将物体关联与语言信息结合，形成统一的3D表示，显著提升了分割的准确性和鲁棒性。

关键设计：在模型设计中，采用了特定的损失函数以平衡身份一致性和语义区分性，同时在网络结构中引入了边界重建模块，以改善轮廓的质量。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，本文方法在LERF数据集上达到了59.1%的mIoU，相较于基线提升了13.4%。此外，实验结果表明该方法在多视图物体关联和边界重建方面表现出色，显著提高了分割的质量和鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景。在这些领域中，准确的3D物体分割对于环境理解和交互至关重要。未来，该方法有望推动更智能的视觉理解系统的发展，提升人机交互的自然性和准确性。

📄 摘要（原文）

Open-vocabulary 3D segmentation localizes objects from free-form text queries, but remains challenging in real image sequences: incomplete or noisy 2D supervision destabilizes multi-view identity assignment, while full-scene semantic learning weakens object-level discriminability. We introduce Hybrid Gaussians, a unified 3D representation jointly modeling object association and language-aligned semantics. Its Multi-View Object Association mechanism combines Observation Fusion and Semantic Contrastive Learning to improve identity consistency and semantic discrimination. Boundary Reconstruction Optimization further refines local boundary structure to improve contour quality. Experiments on LERF and 3D-OVS demonstrate strong quantitative and qualitative performance. Our method achieves 59.1\% mIoU on LERF, yielding a 13.4\% relative gain over the baseline. Project page: https://nora202.github.io/hybridgaussians.