GP-GS: Gaussian Processes Densification for 3D Gaussian Splatting

📄 arXiv: 2502.02283v6 📥 PDF

作者: Zhihao Guo, Jingxuan Su, Chenghao Qian, Shenglin Wang, Jinlong Fan, Jing Zhang, Wei Zhou, Hadi Amirpour, Yunlong Zhao, Liangxiu Han, Peng Wang

分类: cs.CV, cs.AI

发布日期: 2025-02-04 (更新: 2026-01-12)

备注: 11 pages, 8 figures

💡 一句话要点

GP-GS：提出基于高斯过程的3D高斯溅射点云稠密化方法，提升渲染质量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 点云稠密化 高斯过程 三维重建 渲染 NeRF SfM

📋 核心要点

  1. 3D高斯溅射渲染质量受限于SfM初始化的稀疏性，导致渲染伪影。
  2. GP-GS利用高斯过程学习2D像素到3D属性的映射，实现点云的稠密化。
  3. 实验表明，GP-GS在重建质量和渲染保真度上均有显著提升，PSNR最高提升1.12dB。

📝 摘要（中文）

3D高斯溅射(3DGS)能够实现照片级真实感的渲染，但由于稀疏的Structure-from-Motion (SfM)初始化而存在伪影。为了解决这个限制，我们提出了GP-GS，一个基于高斯过程(GP)的3DGS优化稠密化框架。GP-GS将点云稠密化公式化为一个连续回归问题，其中GP学习从2D像素坐标到3D位置和颜色属性的局部映射。自适应的基于邻域的采样策略生成用于推理的候选像素，而GP预测的不确定性被用于过滤不可靠的预测，从而减少噪声并保持几何结构。在合成和真实世界基准上的大量实验表明，GP-GS始终如一地提高了重建质量和渲染保真度，与强大的基线相比，PSNR提高了高达1.12 dB。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)依赖于Structure-from-Motion (SfM)进行初始化，但SfM生成的点云通常是稀疏的，这会导致渲染结果出现伪影，影响渲染质量和真实感。现有方法难以有效地在保持几何结构的同时进行点云稠密化。

核心思路：GP-GS的核心思路是将点云稠密化问题建模为一个连续回归问题，利用高斯过程(GP)学习从2D像素坐标到3D位置和颜色属性的局部映射。通过GP的回归能力，可以预测新视点下的3D高斯参数，从而实现点云的稠密化。GP同时提供预测的不确定性估计，用于过滤不可靠的预测，避免引入噪声。

技术框架：GP-GS的整体框架包含以下几个主要步骤：1) 使用SfM初始化3D高斯模型；2) 对图像进行渲染，并选择需要进行稠密化的像素；3) 使用自适应邻域采样策略生成候选像素；4) 利用高斯过程回归预测候选像素对应的3D位置和颜色属性；5) 使用GP预测的不确定性过滤不可靠的预测；6) 将预测结果添加到3D高斯模型中，并进行优化。

关键创新：GP-GS的关键创新在于将高斯过程引入到3D高斯溅射的点云稠密化过程中。与传统的基于规则或启发式的稠密化方法不同，GP-GS利用GP的回归能力和不确定性估计，能够更准确地预测新的3D高斯参数，并在稠密化的同时保持几何结构。自适应邻域采样策略进一步提高了采样效率和预测精度。

关键设计：GP-GS的关键设计包括：1) 自适应邻域采样策略，根据像素的梯度信息动态调整邻域大小，提高采样效率；2) 使用高斯过程回归预测3D位置和颜色属性，并利用GP预测的不确定性作为置信度，过滤不可靠的预测；3) 将预测结果添加到3D高斯模型中，并通过优化算法调整高斯参数，以获得更好的渲染效果。损失函数包括渲染损失和正则化损失，用于约束高斯参数的分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GP-GS在合成和真实世界数据集上进行了广泛的实验，结果表明GP-GS能够显著提高重建质量和渲染保真度。与强基线方法相比，GP-GS在PSNR指标上最高提升了1.12 dB。实验结果还表明，GP-GS能够有效地减少渲染伪影，并保持几何结构的完整性。

🎯 应用场景

GP-GS在三维重建、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。它可以用于提高三维场景的重建质量和渲染真实感，为用户提供更逼真的视觉体验。此外，GP-GS还可以应用于机器人导航、场景理解等任务，提高机器人的环境感知能力。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) enables photorealistic rendering but suffers from artefacts due to sparse Structure-from-Motion (SfM) initialisation. To address this limitation, we propose GP-GS, a Gaussian Process (GP) based densification framework for 3DGS optimisation. GP-GS formulates point cloud densification as a continuous regression problem, where a GP learns a local mapping from 2D pixel coordinates to 3D position and colour attributes. An adaptive neighbourhood-based sampling strategy generates candidate pixels for inference, while GP-predicted uncertainty is used to filter unreliable predictions, reducing noise and preserving geometric structure. Extensive experiments on synthetic and real-world benchmarks demonstrate that GP-GS consistently improves reconstruction quality and rendering fidelity, achieving up to 1.12 dB PSNR improvement over strong baselines.