GP-4DGS: Probabilistic 4D Gaussian Splatting from Monocular Video via Variational Gaussian Processes

📄 arXiv: 2604.02915 📥 PDF

作者: Mijeong Kim, Jungtaek Kim, Bohyung Han

分类: cs.CV

发布日期: 2026-04-06

💡 一句话要点

GP-4DGS：基于变分高斯过程的单目视频概率4D高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 4D高斯溅射 高斯过程 动态场景重建 不确定性量化 变分推理

📋 核心要点

  1. 现有4DGS方法缺乏对运动模糊的建模能力，无法评估预测的可靠性，限制了其在复杂动态场景中的应用。
  2. GP-4DGS利用高斯过程的概率特性，对运动进行不确定性量化、未观测区域的运动估计以及时间外推。
  3. 实验表明，GP-4DGS在提升重建质量的同时，能够提供可靠的不确定性估计，有效识别高运动模糊区域。

📝 摘要（中文）

本文提出GP-4DGS，一个将高斯过程（GPs）集成到4D高斯溅射（4DGS）中的新框架，用于动态场景的原则性概率建模。现有的4DGS方法侧重于确定性重建，但在捕捉运动模糊方面存在内在局限性，并且缺乏评估预测可靠性的机制。通过利用GPs基于核的概率特性，我们的方法引入了三个关键能力：（i）运动预测的不确定性量化，（ii）未观察到或稀疏采样区域的运动估计，以及（iii）超出观察到的训练帧的时间外推。为了将GPs扩展到4DGS中大量的高斯基元，我们设计了时空核，以捕捉形变场的关联结构，并采用带有诱导点的变分高斯过程进行易于处理的推理。实验表明，GP-4DGS增强了重建质量，同时提供了可靠的不确定性估计，有效地识别了高运动模糊的区域。通过解决这些挑战，我们的工作朝着桥接概率建模和神经图形迈出了有意义的一步。

🔬 方法详解

问题定义：现有的4DGS方法主要关注动态场景的确定性重建，忽略了运动估计中的不确定性，无法处理运动模糊或稀疏采样区域，并且难以进行时间外推。这些局限性导致重建质量下降，尤其是在复杂动态场景中。

核心思路：GP-4DGS的核心思路是将高斯过程（GPs）引入到4DGS框架中，利用GPs的概率建模能力来捕捉运动的不确定性。通过对形变场进行概率建模，GP-4DGS能够提供运动预测的不确定性估计，并对未观测区域进行合理的运动估计，同时支持时间外推。

技术框架：GP-4DGS的整体框架包括以下几个主要模块：1) 基于4DGS的初始场景表示；2) 使用高斯过程对形变场进行建模，其中形变场描述了高斯基元随时间的运动；3) 采用变分高斯过程进行高效推理，以应对4DGS中大量高斯基元带来的计算挑战；4) 基于概率模型进行渲染，并输出重建结果和不确定性估计。

关键创新：GP-4DGS的关键创新在于将高斯过程引入到4DGS框架中，实现了对动态场景的概率建模。与传统的确定性4DGS方法相比，GP-4DGS能够提供运动预测的不确定性估计，并对未观测区域进行合理的运动估计，同时支持时间外推。此外，GP-4DGS还设计了时空核来捕捉形变场的关联结构，并采用变分高斯过程进行高效推理。

关键设计：GP-4DGS的关键设计包括：1) 时空核的设计，用于捕捉形变场在时间和空间上的相关性；2) 变分高斯过程的实现，通过引入诱导点来降低计算复杂度，使其能够应用于4DGS中大量的高斯基元；3) 损失函数的设计，用于优化高斯过程的参数，并确保重建结果的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GP-4DGS在动态场景重建质量方面优于现有的4DGS方法，尤其是在运动模糊和稀疏采样区域。此外，GP-4DGS能够提供可靠的不确定性估计，有效识别高运动模糊区域。定量结果和可视化结果均验证了GP-4DGS的有效性。

🎯 应用场景

GP-4DGS具有广泛的应用前景，包括虚拟现实/增强现实（VR/AR）、自动驾驶、机器人导航、电影特效等领域。通过提供更准确和可靠的动态场景重建，GP-4DGS可以提升VR/AR体验的真实感，增强自动驾驶系统的环境感知能力，并为电影特效制作提供更灵活的工具。未来，GP-4DGS可以进一步扩展到处理更复杂的动态场景，例如包含多个运动对象的场景。

📄 摘要（原文）

We present GP-4DGS, a novel framework that integrates Gaussian Processes (GPs) into 4D Gaussian Splatting (4DGS) for principled probabilistic modeling of dynamic scenes. While existing 4DGS methods focus on deterministic reconstruction, they are inherently limited in capturing motion ambiguity and lack mechanisms to assess prediction reliability. By leveraging the kernel-based probabilistic nature of GPs, our approach introduces three key capabilities: (i) uncertainty quantification for motion predictions, (ii) motion estimation for unobserved or sparsely sampled regions, and (iii) temporal extrapolation beyond observed training frames. To scale GPs to the large number of Gaussian primitives in 4DGS, we design spatio-temporal kernels that capture the correlation structure of deformation fields and adopt variational Gaussian Processes with inducing points for tractable inference. Our experiments show that GP-4DGS enhances reconstruction quality while providing reliable uncertainty estimates that effectively identify regions of high motion ambiguity. By addressing these challenges, our work takes a meaningful step toward bridging probabilistic modeling and neural graphics.