GSCompleter: A Distillation-Free Plugin for Metric-Aware 3D Gaussian Splatting Completion in Seconds

📄 arXiv: 2604.20155v1 📥 PDF

作者: Ao Gao, Jingyu Gong, Xin Tan, Zhizhong Zhang, Yuan Xie

分类: cs.CV

发布日期: 2026-04-22

💡 一句话要点

GSCompleter：用于度量感知3D高斯溅射补全的无蒸馏插件

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 场景补全 稀疏视角 立体视觉 无蒸馏学习

📋 核心要点

  1. 现有3DGS补全方法依赖不稳定的“修复-然后-蒸馏”模式，易过拟合且效果不佳。
  2. GSCompleter采用“生成-然后-注册”策略，先生成3D图元再注册，避免了蒸馏过程。
  3. 实验表明，GSCompleter在多个基准测试中显著提升了3DGS补全的质量和效率，达到SOTA。

📝 摘要（中文）

3D高斯溅射(3DGS)显著提升了实时渲染效果，但在稀疏视角外推情况下，其性能会显著下降，表现为严重的几何空洞和伪影。现有的解决方案主要依赖于迭代的“修复-然后-蒸馏”模式，这种模式本质上不稳定且容易过拟合。本文提出了GSCompleter，一个无蒸馏插件，将场景补全转移到稳定的“生成-然后-注册”工作流程。该方法首先合成合理的2D参考图像，并通过稳健的立体锚定机制将其显式地提升到度量尺度的3D图元。然后，通过一种新颖的射线约束注册策略，将这些图元无缝集成到全局上下文中。这种向快速注册模式的转变，在三个不同的基准测试中提供了卓越的3DGS补全性能，提高了各种基线的质量和效率，并实现了新的SOTA结果。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射(3DGS)在稀疏视角下进行场景补全时，由于几何信息不足而导致的空洞和伪影问题。现有方法通常采用迭代的“修复-然后-蒸馏”流程，这种方法不稳定，容易过拟合，并且计算成本高昂。

核心思路：GSCompleter的核心思路是将场景补全问题转化为一个“生成-然后-注册”的过程。首先，通过生成高质量的2D参考图像来补充缺失的视角信息。然后，利用这些参考图像重建出度量尺度的3D图元，并将这些图元精确地注册到现有的3DGS场景中。这种方法避免了不稳定的迭代优化过程，提高了补全的质量和效率。

技术框架：GSCompleter主要包含以下几个关键模块：1) 2D参考图像生成：利用图像生成模型合成场景中缺失视角的图像。2) 立体锚定(Stereo-Anchor)：从2D参考图像中提取特征，并将其提升到3D空间，生成度量尺度的3D图元。3) 射线约束注册(Ray-Constrained Registration)：将生成的3D图元与现有的3DGS场景进行对齐和融合，确保场景的几何一致性。

关键创新：GSCompleter的关键创新在于其无蒸馏的“生成-然后-注册”框架。与传统的“修复-然后-蒸馏”方法相比，GSCompleter避免了不稳定的迭代优化过程，提高了补全的稳定性和效率。此外，立体锚定机制和射线约束注册策略能够有效地将生成的3D图元与现有场景进行对齐，保证了补全结果的几何一致性。

关键设计：立体锚定机制利用立体视觉原理，通过匹配2D参考图像中的特征点，并结合相机位姿信息，计算出3D空间中的坐标。射线约束注册策略则利用3DGS场景中的射线信息，约束生成的3D图元的位置和方向，确保其与现有场景的几何结构相符。具体的损失函数设计包括几何一致性损失、外观一致性损失等，用于优化注册过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GSCompleter在三个不同的基准测试中均取得了SOTA结果，显著提升了3DGS补全的质量和效率。实验结果表明，GSCompleter能够有效地填充场景中的空洞和伪影，生成更完整、更逼真的3D场景。与现有方法相比，GSCompleter在补全质量、运行速度和稳定性方面均有显著优势。

🎯 应用场景

GSCompleter可应用于各种需要从稀疏视角重建完整3D场景的领域，例如：机器人导航、自动驾驶、虚拟现实/增强现实、三维重建、文物保护等。该方法能够显著提升场景补全的质量和效率，为相关应用提供更可靠的3D场景信息，并有望推动相关技术的发展。

📄 摘要（原文）

While 3D Gaussian Splatting (3DGS) has revolutionized real-time rendering, its performance degrades significantly under sparse-view extrapolation, manifesting as severe geometric voids and artifacts. Existing solutions primarily rely on an iterative "Repair-then-Distill" paradigm, which is inherently unstable and prone to overfitting. In this work, we propose GSCompleter, a distillation-free plugin that shifts scene completion to a stable "Generate-then-Register" workflow. Our approach first synthesizes plausible 2D reference images and explicitly lifts them into metric-scale 3D primitives via a robust Stereo-Anchor mechanism. These primitives are then seamlessly integrated into the global context through a novel Ray-Constrained Registration strategy. This shift to a rapid registration paradigm delivers superior 3DGS completion performance across three distinct benchmarks, enhancing the quality and efficiency of various baselines and achieving new SOTA results.