DecoGS: Adaptive Static-Dynamic Decoupling of 3D Gaussians for Free-Viewpoint Video Streaming

📄 arXiv: 2609.17230v1 📥 PDF

作者: Idil Sulo, Alexey Supikov, Ilke Demir, Sainan Liu

分类: cs.CV

发布日期: 2026-09-15

💡 一句话要点

提出DecoGS以解决3D视频流中的静态动态分离问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 3D重建 视频流 自适应优化 高斯管理 时间一致性

📋 核心要点

  1. 现有方法在静态区域每帧更新所有高斯模型，导致效率低下和时间保真度不足。
  2. DecoGS通过自适应机制选择性优化运动或光度变化区域，避免冗余更新。
  3. 在N3DV和MeetRoom数据集上，DecoGS的PSNR分别为34.55和31.60，且渲染速度达到261 FPS。

📝 摘要（中文）

流媒体3D重建需要速度和时间保真度，但现有方法在静态区域每帧更新所有高斯模型，导致效率低下。本文提出DecoGS，一种从流视频中高效在线训练3D高斯的方法。与以往方法不同，DecoGS引入了一种自适应机制，选择性地优化运动或光度变化的时空区域，从而消除冗余更新，避免静态区域的闪烁和漂移，同时实现快速、高保真的场景更新。该方法还通过梯度门控和高效可见性过滤集成了区域感知的高斯管理，以保持时间一致性和紧凑的内存占用。在N3DV和MeetRoom数据集上，DecoGS分别达到了34.55和31.60 dB的PSNR，超越了所有流媒体和离线基线，同时以261 FPS的速度渲染，较最佳先前方法降低了70倍的时间闪烁，无需大规模预训练。

🔬 方法详解

问题定义：本文旨在解决流媒体3D重建中静态与动态区域更新不当的问题。现有方法在静态区域每帧更新所有高斯模型，导致效率低下和时间保真度不足。

核心思路：DecoGS引入自适应机制，选择性地优化运动或光度变化的时空区域，从而消除冗余更新，避免静态区域的闪烁和漂移。

技术框架：DecoGS的整体架构包括自适应优化模块、区域感知高斯管理和高效可见性过滤。自适应优化模块负责选择性更新，区域感知高斯管理通过梯度门控实现，而高效可见性过滤则确保时间一致性。

关键创新：DecoGS的核心创新在于其自适应机制，能够针对特定区域进行优化，显著减少了不必要的计算，与现有方法的全局更新策略形成鲜明对比。

关键设计：在设计中，DecoGS采用了梯度门控技术来管理高斯模型的更新，并通过高效可见性过滤来保持时间一致性，确保了在高帧率下的流畅渲染。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在N3DV和MeetRoom数据集上，DecoGS分别达到了34.55和31.60 dB的PSNR，超越了所有流媒体和离线基线。同时，其渲染速度达261 FPS，较最佳先前方法降低了70倍的时间闪烁，显示出显著的性能提升。

🎯 应用场景

DecoGS在虚拟现实、增强现实和游戏等领域具有广泛的应用潜力。其高效的3D重建能力能够提升用户体验，尤其是在需要实时渲染的场景中。此外，该技术还可以应用于视频监控和智能交通系统，提供更高质量的视觉信息。

📄 摘要（原文）

Streaming 3D reconstruction demands both speed and temporal fidelity, goals that existing methods undermine by updating every Gaussian every frame, even in static regions. We present DecoGS, a method for efficient online training of 3D Gaussians from streaming videos. Unlike prior methods that update the entire scene indiscriminately, DecoGS introduces an adaptive mechanism that selectively focuses optimization on spatiotemporal regions exhibiting motion or photometric changes. This targeted training strategy eliminates redundant updates that cause flickering and drift in nominally static regions, while enabling fast, high-fidelity scene updates. The pipeline further integrates region-aware Gaussian management through gradient gating and efficient visibility filtering to maintain temporal coherence and a compact memory footprint. On N3DV and MeetRoom, DecoGS achieves 34.55 and 31.60 dB PSNR respectively, outperforming all streaming and offline baselines, while rendering at 261 FPS with $70\times$ lower temporal flicker than the best prior method, requiring no large-scale pretraining.