Towards Realistic Example-based Modeling via 3D Gaussian Stitching

📄 arXiv: 2408.15708v1 📥 PDF

作者: Xinyu Gao, Ziyi Yang, Bingchen Gong, Xiaoguang Han, Sipeng Yang, Xiaogang Jin

分类: cs.CV

发布日期: 2024-08-28

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出基于3D高斯拼接的示例建模方法，实现真实场景的无缝融合与编辑

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 示例建模 场景融合 纹理合成 交互式编辑

📋 核心要点

  1. 现有基于示例的建模方法难以处理真实场景的3D对象组合，尤其是在外观融合方面存在挑战。
  2. 提出一种基于3D高斯拼接的示例建模方法，通过采样引导的合成实现多个高斯场的无缝融合。
  3. 实验结果表明，该方法在真实感合成方面显著优于现有方法，具有很强的实用性。

📝 摘要（中文）

本文提出了一种基于示例的建模方法，该方法利用现有多模型的部件来重建新模型，这是计算机图形学中的一种经典方法。以往的工作主要集中在形状组合上，因此很难用于真实场景中捕获的3D对象的真实组合。为了实现无缝的外观融合，现有方法通常将多个NeRF合并到单个3D场景中。然而，由于其基于梯度的策略和基于网格的表示，目前的SeamlessNeRF方法难以实现真实场景的交互式编辑和和谐拼接。为此，我们提出了一种基于示例的建模方法，该方法使用采样引导的合成将多个高斯场以基于点的方式进行组合。具体来说，在组合方面，我们创建了一个GUI来实时分割和转换多个场，从而轻松获得由3D高斯溅射（3DGS）表示的模型的语义上有意义的组合。对于纹理融合，由于3DGS的离散性和不规则性，直接应用像SeamlessNeRF那样的梯度传播是不支持的。因此，提出了一种新颖的基于采样的克隆方法，以协调融合，同时保留原始的丰富纹理和内容。我们的工作流程包括三个步骤：1）使用量身定制的GUI对高斯模型进行实时分割和转换；2）KNN分析，以识别源模型和目标模型之间相交区域中的边界点；3）使用基于采样的克隆和梯度约束对目标模型进行两阶段优化。大量的实验结果验证了我们的方法在真实感合成方面明显优于以前的工作，证明了它的实用性。

🔬 方法详解

问题定义：现有基于示例的建模方法在处理真实场景的3D对象组合时，尤其是在外观融合方面存在困难。SeamlessNeRF虽然可以融合多个NeRF，但其基于梯度的策略和网格表示使其难以进行交互式编辑和和谐拼接。因此，需要一种能够处理真实场景、支持交互式编辑并实现无缝外观融合的建模方法。

核心思路：本文的核心思路是利用3D高斯溅射（3DGS）的基于点的表示，结合采样引导的合成方法，将多个高斯场进行组合。通过GUI进行实时分割和转换，实现模型的语义组合。针对3DGS的离散性和不规则性，提出基于采样的克隆方法，协调融合并保留原始纹理。

技术框架：该方法的工作流程包括三个主要步骤：1）使用GUI对高斯模型进行实时分割和转换；2）使用KNN分析识别源模型和目标模型之间相交区域的边界点；3）使用基于采样的克隆和梯度约束对目标模型进行两阶段优化。GUI用于交互式编辑，KNN用于边界点识别，两阶段优化用于实现无缝融合。

关键创新：最重要的技术创新点是提出了基于采样的克隆方法，用于解决3DGS的离散性和不规则性带来的纹理融合问题。与SeamlessNeRF直接应用梯度传播不同，该方法通过采样来协调融合，同时保留原始纹理和内容。

关键设计：GUI的设计允许用户实时分割和转换高斯模型，方便进行语义组合。KNN分析用于准确识别边界点，为后续的融合提供基础。两阶段优化包括基于采样的克隆和梯度约束，前者用于纹理融合，后者用于平滑过渡。具体的参数设置和损失函数在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在真实感合成方面显著优于现有方法。通过对比实验，证明了该方法在外观融合、细节保留和交互式编辑方面的优势。具体的性能数据和提升幅度在论文中进行了详细展示（未知）。实验结果验证了该方法在实际应用中的可行性和有效性。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发、数字内容创作等领域。通过该方法，用户可以方便地将真实场景中的3D对象进行组合和编辑，创建出更加逼真和丰富的虚拟环境。未来，该技术有望进一步提升3D建模的效率和真实感，推动相关产业的发展。

📄 摘要（原文）

Using parts of existing models to rebuild new models, commonly termed as example-based modeling, is a classical methodology in the realm of computer graphics. Previous works mostly focus on shape composition, making them very hard to use for realistic composition of 3D objects captured from real-world scenes. This leads to combining multiple NeRFs into a single 3D scene to achieve seamless appearance blending. However, the current SeamlessNeRF method struggles to achieve interactive editing and harmonious stitching for real-world scenes due to its gradient-based strategy and grid-based representation. To this end, we present an example-based modeling method that combines multiple Gaussian fields in a point-based representation using sample-guided synthesis. Specifically, as for composition, we create a GUI to segment and transform multiple fields in real time, easily obtaining a semantically meaningful composition of models represented by 3D Gaussian Splatting (3DGS). For texture blending, due to the discrete and irregular nature of 3DGS, straightforwardly applying gradient propagation as SeamlssNeRF is not supported. Thus, a novel sampling-based cloning method is proposed to harmonize the blending while preserving the original rich texture and content. Our workflow consists of three steps: 1) real-time segmentation and transformation of a Gaussian model using a well-tailored GUI, 2) KNN analysis to identify boundary points in the intersecting area between the source and target models, and 3) two-phase optimization of the target model using sampling-based cloning and gradient constraints. Extensive experimental results validate that our approach significantly outperforms previous works in terms of realistic synthesis, demonstrating its practicality. More demos are available at https://ingra14m.github.io/gs_stitching_website.