4DGS-Fixer: Generative Sparse-View 4D Gaussian Splatting with Iterative Refinement Guided by Video Diffusion Priors

📄 arXiv: 2609.21176v1 📥 PDF

作者: Haitao Huang, Shenghao Zhao, Boyuan Tian, Shin-Fang Chng, Songlin Yang, Sheila Lim, Huangying Zhan, Yi Xu, Anyi Rao, Frank Guan

分类: cs.CV

发布日期: 2026-09-18

备注: Accepted to SIGGRAPH Asia TC

💡 一句话要点

提出4DGS-Fixer以解决动态场景合成中的稀疏视图问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景合成 稀疏视图 4D高斯建模 视频扩散模型 深度图融合 伪监督学习 迭代优化

📋 核心要点

  1. 现有方法在动态场景合成中面临稀疏视图导致的几何初始化不足和信息缺失问题。
  2. 本文提出基于视频扩散模型的迭代优化框架，利用多视角深度图和视频恢复模型来改善4DGS表示。
  3. 实验结果显示，本文方法在基准数据集上PSNR提升近2 dB，显著优于现有最佳方法。

📝 摘要（中文）

本文针对从稀疏视图视频中合成动态场景的挑战进行研究。现有方法通过几何先验、自适应优化或密度控制策略来改善稀疏观测下的4D高斯建模，但无法根本解决由于观测不足和场景信息缺失导致的病态问题。为此，本文提出了一种基于视频扩散模型的迭代优化框架，以提高动态4D场景的完整性和一致性。具体而言，首先估计多视角深度图并融合为密集点云，以提供更完整的几何初始化。然后，利用预训练的视频恢复模型对沿新相机轨迹渲染的序列进行优化，恢复的序列作为伪监督信号来正则化和迭代优化4DGS表示。实验结果表明，该方法在广泛使用的基准数据集上显著优于现有基线，PSNR提升近2 dB。

🔬 方法详解

问题定义：本文旨在解决从稀疏视图视频合成动态场景时，现有方法因观测不足而导致的几何初始化不良和场景信息缺失的问题。

核心思路：提出一种基于视频扩散模型的迭代优化框架，通过多视角深度图的融合和视频恢复模型的应用，来增强4D高斯表示的完整性和一致性。

技术框架：整体流程包括两个主要阶段：首先，估计多视角深度图并融合为密集点云，为动态4DGS表示提供更好的几何初始化；其次，利用预训练的视频恢复模型对渲染序列进行优化，形成伪监督信号以迭代优化4DGS表示。

关键创新：本研究的创新点在于结合视频扩散模型与4D高斯建模，通过迭代优化显著提高了动态场景的合成质量，克服了传统方法的局限性。

关键设计：在技术细节上，采用了深度图融合算法和视频恢复模型，设计了适应性的损失函数以平衡几何一致性和视觉质量，确保了优化过程的有效性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，4DGS-Fixer在广泛使用的基准数据集上实现了近2 dB的PSNR提升，显著超越了现有最佳方法，展示了其在动态场景合成中的有效性和优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在虚拟现实、增强现实和电影制作等领域。通过提高动态场景合成的质量，可以为用户提供更真实的视觉体验，推动相关技术的发展和应用。

📄 摘要（原文）

This paper addresses the challenges of dynamic scene synthesis from sparse-view videos. Existing methods employ geometric priors, adaptive optimization, or density-control strategies to improve 4D Gaussian modeling under sparse observations. However, they cannot fundamentally resolve the ill-posed problem caused by insufficient observations and missing scene information. Moreover, sparse-view 4D Gaussian Splatting (4DGS) often suffers from poor geometric initialization: with only a few input views, COLMAP typically reconstructs sparse and incomplete point clouds, leaving large scene regions without sufficient Gaussian support and making them difficult to recover through subsequent optimization. To address these limitations, we propose a novel iterative refinement framework based on a video diffusion model to improve the completeness and consistency of dynamic 4D scenes. Specifically, we first estimate multi-view depth maps and fuse them into dense point clouds to provide more complete geometric initialization for a dynamic 4DGS representation. We then employ a pretrained video restoration model to refine sequences rendered along novel camera trajectories at different time steps. The restored sequences serve as pseudo-supervision to regularize and iteratively refine the 4DGS representation. Experiments on a widely used benchmark dataset demonstrate that our method substantially outperforms existing baselines, achieving nearly a 2 dB PSNR improvement over the previous best-performing method.