RePaintGS: Reference-Guided Gaussian Splatting for Realistic and View-Consistent 3D Scene Inpainting
作者: Ji Hyun Seo, Byounhyun Yoo, Gerard Jounghyun Kim
分类: cs.CV
发布日期: 2025-07-11
💡 一句话要点
提出RePaintGS，利用参考视图引导的3D高斯溅射实现逼真且视角一致的场景修复
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D场景修复 高斯溅射 参考视图引导 视角一致性 图像修复
📋 核心要点
- 现有的3D场景修复方法在移除物体后，暴露的遮挡区域往往导致不自然的视觉效果，且视角间不一致。
- RePaintGS利用修复后的参考视图，通过估计其他视图的修复相似度，构建精确的几何体，并将参考视图的修复结果扭曲到其他视图。
- 实验结果表明，该方法在修复场景的几何保真度和外观一致性方面均有提升，能够生成更逼真、视角一致的修复结果。
📝 摘要（中文）
本文提出了一种新颖的3D场景修复方法，该方法通过利用参考视图，即使对于复杂的场景也能可靠地生成逼真且感知上一致的结果。给定修复后的参考视图，我们估计其他视图的修复相似度，以调整它们在构建针对参考视图定制的精确几何体中的贡献。然后，该几何体用于将参考修复扭曲到其他视图作为伪真值，从而引导优化以匹配参考外观。比较评估研究表明，我们的方法提高了修复场景的几何保真度和外观一致性。
🔬 方法详解
问题定义：3D场景修复旨在移除场景中的特定物体，并填充由此产生的空缺区域。现有方法，特别是基于图像修复的方法，虽然可以生成合理的填充内容，但往往在不同视角下产生不一致的结果，导致整体场景的不协调。此外，简单地融合不同视角的修复结果容易造成细节丢失，并且在视角间存在感知不一致时效果不佳。
核心思路：RePaintGS的核心在于利用一个修复后的参考视图来引导其他视图的修复过程。通过将参考视图的修复结果作为伪真值，强制其他视图的修复结果与参考视图保持一致，从而确保视角间的一致性。这种方法避免了直接融合不同视角的修复结果，减少了细节丢失和感知不一致的问题。
技术框架：RePaintGS的整体框架包括以下几个主要步骤：1) 选择一个参考视图并对其进行图像修复；2) 估计其他视图与参考视图的修复相似度；3) 基于相似度调整其他视图在构建几何体中的贡献；4) 将参考视图的修复结果扭曲到其他视图，生成伪真值；5) 利用伪真值引导高斯溅射的优化，最终得到修复后的3D场景。
关键创新：RePaintGS的关键创新在于引入了参考视图引导的修复机制。与以往方法直接修复每个视图并进行融合不同，RePaintGS通过参考视图建立视角间的联系，从而保证了修复结果的视角一致性。此外，利用高斯溅射作为3D表示，可以更有效地优化场景的几何结构和外观。
关键设计：RePaintGS的关键设计包括：1) 修复相似度估计：用于衡量其他视图与参考视图的相似程度，从而调整其在几何体构建中的权重。具体实现方式未知。2) 几何体构建：基于高斯溅射，利用所有视图的信息构建精确的3D几何体。3) 伪真值生成：通过将参考视图的修复结果扭曲到其他视图，生成伪真值，用于指导高斯溅射的优化。4) 损失函数：采用合适的损失函数，例如L1损失或感知损失，来衡量修复结果与伪真值之间的差异，并引导高斯溅射的参数更新。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了RePaintGS在3D场景修复任务中的有效性。与现有方法相比，RePaintGS在几何保真度和外观一致性方面均有显著提升。具体的性能数据和对比基线未知，但摘要强调了该方法在复杂场景中也能生成逼真且视角一致的结果。
🎯 应用场景
该技术可应用于虚拟现实、增强现实、电影特效、游戏开发等领域。例如，在虚拟现实中，可以移除场景中不需要的物体，并自动填充空缺区域，从而创建更逼真、更沉浸式的体验。在电影特效中，可以用于快速修复或修改3D场景，提高制作效率。此外，该技术还可以用于文物修复，对破损的文物进行三维重建和修复。
📄 摘要（原文）
Radiance field methods, such as Neural Radiance Field or 3D Gaussian Splatting, have emerged as seminal 3D representations for synthesizing realistic novel views. For practical applications, there is ongoing research on flexible scene editing techniques, among which object removal is a representative task. However, removing objects exposes occluded regions, often leading to unnatural appearances. Thus, studies have employed image inpainting techniques to replace such regions with plausible content - a task referred to as 3D scene inpainting. However, image inpainting methods produce one of many plausible completions for each view, leading to inconsistencies between viewpoints. A widely adopted approach leverages perceptual cues to blend inpainted views smoothly. However, it is prone to detail loss and can fail when there are perceptual inconsistencies across views. In this paper, we propose a novel 3D scene inpainting method that reliably produces realistic and perceptually consistent results even for complex scenes by leveraging a reference view. Given the inpainted reference view, we estimate the inpainting similarity of the other views to adjust their contribution in constructing an accurate geometry tailored to the reference. This geometry is then used to warp the reference inpainting to other views as pseudo-ground truth, guiding the optimization to match the reference appearance. Comparative evaluation studies have shown that our approach improves both the geometric fidelity and appearance consistency of inpainted scenes.