STDR: Spatio-Temporal Decoupling for Real-Time Dynamic Scene Rendering

📄 arXiv: 2505.22400v1 📥 PDF

作者: Zehao Li, Hao Jiang, Yujun Cai, Jianing Chen, Baolong Bi, Shuqin Gao, Honglong Zhao, Yiwei Wang, Tianlu Mao, Zhaoqi Wang

分类: cs.GR, cs.CV

发布日期: 2025-05-28

💡 一句话要点

STDR：时空解耦的实时动态场景渲染方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态场景重建 3D高斯溅射 时空解耦 实时渲染 形变场

📋 核心要点

  1. 现有基于3DGS的动态场景重建方法在初始化时存在时空不一致问题，导致难以准确建模动态运动。
  2. STDR模块通过学习每个高斯的时空概率分布，引入时空掩码、分离形变场和一致性正则化来解耦时空模式。
  3. 实验表明，STDR能显著提升现有3DGS框架在合成和真实场景中的重建质量和时空一致性。

📝 摘要（中文）

动态场景重建一直是3D视觉领域的基础挑战。最近，3D高斯溅射（3DGS）的出现，通过显式的高斯基元实现了高质量的实时渲染，为该领域提供了一个有希望的方向。然而，现有的基于3DGS的动态重建方法在初始化过程中通常会遇到时空不一致的问题，即规范高斯是通过聚合来自多个帧的观测结果而构建的，没有时间上的区分。这导致了时空纠缠的表示，使得难以准确地建模动态运动。为了克服这个限制，我们提出了STDR（用于实时渲染的时空解耦），这是一个即插即用的模块，可以学习每个高斯的时空概率分布。STDR引入了一个时空掩码、一个分离的形变场和一个一致性正则化，以共同解开空间和时间模式。大量的实验表明，将我们的模块整合到现有的基于3DGS的动态场景重建框架中，可以显著提高合成和真实世界基准测试中的重建质量和时空一致性。

🔬 方法详解

问题定义：论文旨在解决动态场景重建中，基于3D高斯溅射(3DGS)的方法在初始化阶段存在的时空不一致性问题。现有方法直接聚合多帧观测构建高斯基元，忽略了时间信息，导致高斯表示时空纠缠，无法准确建模动态物体的运动。这种时空纠缠使得后续的优化和渲染过程难以区分静态背景和动态物体，从而影响重建质量和渲染效果。

核心思路：论文的核心思路是对每个高斯基元进行时空解耦，即分别建模高斯基元的空间分布和时间演化。通过学习每个高斯的时空概率分布，区分不同时刻的观测，避免直接聚合造成的时空混淆。这样可以更准确地表示动态场景，并提高重建质量和时空一致性。

技术框架：STDR作为一个即插即用的模块，可以嵌入到现有的基于3DGS的动态场景重建框架中。其主要包含三个组成部分：1) 时空掩码：用于区分高斯基元在不同时刻的有效性，降低时空混淆；2) 分离的形变场：用于建模高斯基元随时间的形变，捕捉动态物体的运动；3) 一致性正则化：用于约束时空掩码和形变场的一致性，避免出现不合理的时空分布。整体流程是，首先利用现有3DGS方法初始化高斯基元，然后将STDR模块嵌入到优化过程中，共同优化高斯基元的属性和时空分布。

关键创新：STDR的关键创新在于提出了时空解耦的思想，并设计了相应的模块来实现这一思想。与现有方法直接聚合多帧观测不同，STDR通过学习时空概率分布，显式地建模了高斯基元在不同时刻的有效性和形变。这种时空解耦使得高斯基元能够更准确地表示动态场景，并提高了重建质量和时空一致性。

关键设计：时空掩码采用sigmoid函数输出，表示高斯基元在每个时刻的有效性概率。分离的形变场采用MLP网络建模，输入是时间和高斯基元的位置，输出是形变向量。一致性正则化包括两部分：1) 时空掩码的一致性正则化，鼓励相邻时刻的时空掩码保持一致；2) 形变场的一致性正则化，鼓励相邻位置的形变向量保持一致。损失函数由重建损失、正则化损失和一致性正则化损失组成，共同优化高斯基元的属性、时空掩码和形变场。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，将STDR模块嵌入到现有的3DGS框架中，可以显著提高重建质量和时空一致性。在合成数据集上，STDR将PSNR指标提升了1-2dB，在真实数据集上也有显著提升。此外，STDR还能够有效地减少动态场景重建中的伪影，提高渲染效果。

🎯 应用场景

该研究成果可应用于增强现实(AR)、虚拟现实(VR)、机器人导航、自动驾驶等领域。通过高质量的动态场景重建，可以为用户提供更逼真的沉浸式体验，并为机器人和自动驾驶系统提供更准确的环境感知能力。未来，该技术有望进一步扩展到更大规模、更复杂的动态场景重建，并与其他感知技术相结合，实现更智能化的应用。

📄 摘要（原文）

Although dynamic scene reconstruction has long been a fundamental challenge in 3D vision, the recent emergence of 3D Gaussian Splatting (3DGS) offers a promising direction by enabling high-quality, real-time rendering through explicit Gaussian primitives. However, existing 3DGS-based methods for dynamic reconstruction often suffer from \textit{spatio-temporal incoherence} during initialization, where canonical Gaussians are constructed by aggregating observations from multiple frames without temporal distinction. This results in spatio-temporally entangled representations, making it difficult to model dynamic motion accurately. To overcome this limitation, we propose \textbf{STDR} (Spatio-Temporal Decoupling for Real-time rendering), a plug-and-play module that learns spatio-temporal probability distributions for each Gaussian. STDR introduces a spatio-temporal mask, a separated deformation field, and a consistency regularization to jointly disentangle spatial and temporal patterns. Extensive experiments demonstrate that incorporating our module into existing 3DGS-based dynamic scene reconstruction frameworks leads to notable improvements in both reconstruction quality and spatio-temporal consistency across synthetic and real-world benchmarks.