GaussianCut: Interactive segmentation via graph cut for 3D Gaussian Splatting

📄 arXiv: 2411.07555v1 📥 PDF

作者: Umangi Jain, Ashkan Mirzaei, Igor Gilitschenski

分类: cs.CV

发布日期: 2024-11-12

💡 一句话要点

GaussianCut：通过图割实现3D高斯 Splatting 的交互式分割

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯Splatting 交互式分割 图割算法 场景理解 能量函数

📋 核心要点

  1. 现有的3D分割方法通常需要额外的分割感知训练，或者难以处理用户交互。
  2. GaussianCut 将场景表示为图，通过图割最小化能量函数，实现前景和背景的高效分割。
  3. 实验结果表明，GaussianCut 在各种场景中具有良好的适应性，且无需额外训练。

📝 摘要（中文）

GaussianCut 是一种新的交互式多视角场景分割方法，它使用 3D 高斯 Splatting 表示场景。该方法允许通过与单个视图交互来选择要分割的对象，并接受直观的用户输入，如点点击、粗略涂鸦或文本。利用 3D 高斯 Splatting (3DGS) 作为底层场景表示，简化了感兴趣对象的提取，这些对象被认为是场景高斯分布的一个子集。核心思想是将场景表示为图，并使用图割算法最小化能量函数，从而有效地将高斯分布划分为前景和背景。为此，基于场景高斯分布构建图，并设计一个分割对齐的能量函数，将用户输入与场景属性相结合。为了获得初始粗略分割，利用 2D 图像/视频分割模型，并使用图构建进一步细化这些粗略估计。经验评估表明 GaussianCut 在各种场景中的适应性。GaussianCut 在 3D 分割方面取得了与最先进方法相媲美的性能，而无需任何额外的分割感知训练。

🔬 方法详解

问题定义：论文旨在解决如何对使用 3D 高斯 Splatting (3DGS) 表示的场景进行交互式分割的问题。现有方法可能需要额外的训练数据，或者在处理用户交互方面存在局限性，难以实现精确、高效的分割。

核心思路：论文的核心思路是将 3DGS 表示的场景转化为图结构，图的节点是高斯分布，边表示高斯分布之间的关系。然后，通过用户交互（如点击、涂鸦）提供先验信息，并设计一个能量函数，该函数结合了用户输入和场景属性，使用图割算法最小化该能量函数，从而将高斯分布划分为前景和背景。

技术框架：GaussianCut 的整体流程如下：1) 用户通过单视角与场景交互，提供分割提示；2) 利用 2D 图像/视频分割模型生成初始粗略分割；3) 基于 3DGS 构建场景图，节点为高斯分布，边表示高斯分布之间的关系；4) 设计能量函数，结合用户输入和场景属性；5) 使用图割算法最小化能量函数，得到最终的分割结果。

关键创新：该方法的主要创新在于将 3DGS 与图割算法相结合，实现交互式的 3D 分割。与现有方法相比，GaussianCut 无需额外的分割感知训练，并且能够有效地利用用户交互信息，从而提高分割精度。此外，利用 2D 分割模型生成初始分割，可以加速图割算法的收敛。

关键设计：能量函数的设计是关键。该能量函数通常包含两部分：数据项和平滑项。数据项衡量每个高斯分布属于前景或背景的可能性，这部分信息来源于用户输入和 2D 分割模型的输出。平滑项则鼓励相邻的高斯分布具有相同的标签，从而保证分割结果的平滑性。具体的参数设置和权重需要根据实际场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GaussianCut 在多个数据集上进行了评估，实验结果表明，该方法在 3D 分割方面取得了与最先进方法相媲美的性能，而无需任何额外的分割感知训练。这表明 GaussianCut 具有良好的泛化能力和实用价值。具体的性能指标和对比基线在论文中有详细描述。

🎯 应用场景

GaussianCut 在机器人导航、场景编辑、虚拟现实/增强现实等领域具有广泛的应用前景。例如，在机器人导航中，可以利用该方法分割出感兴趣的物体，从而帮助机器人更好地理解环境。在场景编辑中，可以方便地对 3D 场景中的物体进行选择和编辑。在 VR/AR 应用中，可以实现更逼真的交互体验。

📄 摘要（原文）

We introduce GaussianCut, a new method for interactive multiview segmentation of scenes represented as 3D Gaussians. Our approach allows for selecting the objects to be segmented by interacting with a single view. It accepts intuitive user input, such as point clicks, coarse scribbles, or text. Using 3D Gaussian Splatting (3DGS) as the underlying scene representation simplifies the extraction of objects of interest which are considered to be a subset of the scene's Gaussians. Our key idea is to represent the scene as a graph and use the graph-cut algorithm to minimize an energy function to effectively partition the Gaussians into foreground and background. To achieve this, we construct a graph based on scene Gaussians and devise a segmentation-aligned energy function on the graph to combine user inputs with scene properties. To obtain an initial coarse segmentation, we leverage 2D image/video segmentation models and further refine these coarse estimates using our graph construction. Our empirical evaluations show the adaptability of GaussianCut across a diverse set of scenes. GaussianCut achieves competitive performance with state-of-the-art approaches for 3D segmentation without requiring any additional segmentation-aware training.