3D Gaussian Inpainting with Depth-Guided Cross-View Consistency

📄 arXiv: 2502.11801v2 📥 PDF

作者: Sheng-Yu Huang, Zi-Ting Chou, Yu-Chiang Frank Wang

分类: cs.CV, cs.LG

发布日期: 2025-02-17 (更新: 2025-04-28)

备注: Accepted to CVPR 2025. For project page, see https://peterjohnsonhuang.github.io/3dgic-pages

💡 一句话要点

提出3DGIC，利用深度引导的跨视角一致性实现3D高斯Inpainting

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D Inpainting 高斯溅射 跨视角一致性 深度引导 神经渲染

📋 核心要点

  1. 神经辐射场(NeRF)或3D高斯溅射(3DGS)等新视角渲染方法在进行3D Inpainting时，难以保证跨视角纹理和几何结构的一致性。
  2. 3DGIC框架利用渲染的深度信息引导，通过跨视角可见的背景像素更新Inpainting掩码，从而优化3DGS以实现Inpainting。
  3. 在基准数据集上的实验表明，3DGIC在定量和定性上均超越了当前最先进的3D Inpainting方法。

📝 摘要（中文）

本文提出了一种名为3D高斯Inpainting与深度引导的跨视角一致性(3DGIC)的框架，用于实现跨视角一致的3D Inpainting。在每个训练视角中，利用渲染的深度信息作为指导，3DGIC利用不同视角下可见的背景像素来更新Inpainting掩码，从而优化用于Inpainting目的的3D高斯。通过在基准数据集上进行的大量实验，证实了我们的3DGIC在定量和定性方面均优于当前最先进的3D Inpainting方法。

🔬 方法详解

问题定义：论文旨在解决3D场景Inpainting中跨视角一致性问题。现有方法在利用NeRF或3DGS等技术进行3D Inpainting时，难以保证不同视角下纹理和几何结构的一致性，导致Inpainting结果出现伪影或不连续现象。

核心思路：论文的核心思路是利用深度信息引导的跨视角一致性约束。通过渲染每个训练视角的深度图，并利用不同视角下可见的背景像素来更新Inpainting掩码，从而实现对3D高斯参数的优化，保证Inpainting区域与周围环境的无缝融合。

技术框架：3DGIC框架主要包含以下几个阶段：1) 初始化3D高斯模型；2) 从每个训练视角渲染图像和深度图；3) 利用深度信息和跨视角可见性更新Inpainting掩码；4) 基于更新后的掩码优化3D高斯参数；5) 重复步骤2-4直至收敛。

关键创新：论文的关键创新在于引入了深度引导的跨视角一致性约束。通过深度信息，可以准确地识别不同视角下可见的背景像素，并利用这些像素来指导Inpainting掩码的更新，从而保证Inpainting结果在不同视角下的一致性。这与传统方法中仅依赖图像信息进行Inpainting有本质区别。

关键设计：论文的关键设计包括：1) 使用深度图作为跨视角一致性的指导；2) 设计了一种基于深度信息的Inpainting掩码更新策略，该策略能够有效地利用不同视角下的可见信息；3) 采用了一种自适应的3D高斯参数优化方法，该方法能够根据Inpainting掩码的变化动态调整优化策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3DGIC在多个基准数据集上均取得了优于现有SOTA方法的性能。具体而言，在定量指标上，3DGIC在PSNR、SSIM等指标上均有显著提升。在定性结果上，3DGIC能够生成更加逼真、跨视角一致的Inpainting结果，有效避免了伪影和不连续现象。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、三维重建、文物修复等领域。例如，在虚拟现实中，可以用于修复扫描得到的3D模型中的缺失部分，提升用户体验。在文物修复中，可以用于对破损的文物进行数字化修复，恢复其原貌。该技术具有广阔的应用前景和重要的实际价值。

📄 摘要（原文）

When performing 3D inpainting using novel-view rendering methods like Neural Radiance Field (NeRF) or 3D Gaussian Splatting (3DGS), how to achieve texture and geometry consistency across camera views has been a challenge. In this paper, we propose a framework of 3D Gaussian Inpainting with Depth-Guided Cross-View Consistency (3DGIC) for cross-view consistent 3D inpainting. Guided by the rendered depth information from each training view, our 3DGIC exploits background pixels visible across different views for updating the inpainting mask, allowing us to refine the 3DGS for inpainting purposes.Through extensive experiments on benchmark datasets, we confirm that our 3DGIC outperforms current state-of-the-art 3D inpainting methods quantitatively and qualitatively.