Lifting by Gaussians: A Simple, Fast and Flexible Method for 3D Instance Segmentation

📄 arXiv: 2502.00173v1 📥 PDF

作者: Rohan Chacko, Nicolai Haeni, Eldar Khaliullin, Lin Sun, Douglas Lee

分类: cs.CV

发布日期: 2025-01-31

备注: Accepted to WACV 2025

💡 一句话要点

提出Lifting By Gaussians方法以解决3D实例分割问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D实例分割 高斯散射辐射场 新视图合成 语义分割 特征融合

📋 核心要点

  1. 现有的3D实例分割方法通常需要针对每个场景进行训练，限制了其应用的灵活性和效率。
  2. LBG方法通过直接从2D分割掩码中提取信息，并结合多种特征，避免了场景特定训练的需求。
  3. 实验结果表明，LBG在2D语义新视图合成和3D资产提取方面表现优越，速度和效率显著提升。

📝 摘要（中文）

我们提出了一种新颖的方法Lifting By Gaussians (LBG)，用于3D高斯散射辐射场的开放世界实例分割。3DGS场作为一种高效且明确的替代方案，已被广泛应用于高质量的新视图合成。我们的3D实例分割方法直接从SAM等2D分割掩码中提取信息，并结合CLIP和DINOv2的特征，直接融合到3DGS中。与以往方法不同，LBG无需针对每个场景进行训练，能够在现有的3DGS重建上无缝操作。该方法不仅速度更快、结构更简单，而且高度模块化，能够实现现有3DGS场的3D语义分割，同时保持灵活性和效率。

🔬 方法详解

问题定义：本论文旨在解决3D实例分割中的开放世界场景问题，现有方法通常需要针对每个场景进行训练，导致灵活性不足和效率低下。

核心思路：LBG方法通过直接从2D分割掩码中提取信息，并结合CLIP和DINOv2的特征，简化了3D实例分割的流程，避免了场景特定训练的需求。

技术框架：该方法的整体架构包括从SAM等工具提取2D分割掩码，结合特征提取模块（CLIP和DINOv2），并将结果直接融合到3DGS中，形成最终的3D实例分割结果。

关键创新：LBG的最大创新在于其无需针对每个场景进行训练，能够在任何现有的3DGS重建上无缝操作，显著提高了速度和灵活性。

关键设计：在技术细节上，LBG采用了高效的特征融合策略，优化了参数设置，确保了在不同场景下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LBG在3D实例分割任务中比现有方法快一个数量级，同时在2D语义新视图合成和3D资产提取方面的表现也显著优于基线方法，具体性能提升幅度未知。

🎯 应用场景

该研究具有广泛的应用潜力，特别是在虚拟现实、游戏开发和自动驾驶等领域。通过实现高效的3D实例分割，LBG能够帮助开发者快速生成和处理3D资产，提升用户体验和系统性能。

📄 摘要（原文）

We introduce Lifting By Gaussians (LBG), a novel approach for open-world instance segmentation of 3D Gaussian Splatted Radiance Fields (3DGS). Recently, 3DGS Fields have emerged as a highly efficient and explicit alternative to Neural Field-based methods for high-quality Novel View Synthesis. Our 3D instance segmentation method directly lifts 2D segmentation masks from SAM (alternately FastSAM, etc.), together with features from CLIP and DINOv2, directly fusing them onto 3DGS (or similar Gaussian radiance fields such as 2DGS). Unlike previous approaches, LBG requires no per-scene training, allowing it to operate seamlessly on any existing 3DGS reconstruction. Our approach is not only an order of magnitude faster and simpler than existing approaches; it is also highly modular, enabling 3D semantic segmentation of existing 3DGS fields without requiring a specific parametrization of the 3D Gaussians. Furthermore, our technique achieves superior semantic segmentation for 2D semantic novel view synthesis and 3D asset extraction results while maintaining flexibility and efficiency. We further introduce a novel approach to evaluate individually segmented 3D assets from 3D radiance field segmentation methods.