Constrained Dynamic Gaussian Splatting
作者: Zihan Zheng, Zhenglong Wu, Xuanxuan Wang, Houqiang Zhong, Xiaoyun Zhang, Qiang Hu, Guangtao Zhai, Wenjun Zhang
分类: cs.CV
发布日期: 2026-02-03
💡 一句话要点
提出约束动态高斯溅射，解决动态场景重建中内存占用过高的问题。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 动态场景重建 高斯溅射 预算约束优化 可微预算控制器 多模态融合
📋 核心要点
- 动态高斯溅射在动态场景重建中面临内存占用过高和启发式剪枝效果不佳的挑战。
- CDGS通过引入可微预算控制器和多模态重要性评分，实现用户定义的高斯预算约束优化。
- 实验表明，CDGS在不同容量限制下实现了最佳渲染质量，并实现了超过3倍的压缩。
📝 摘要（中文）
动态高斯溅射虽然能够实现高保真的4D重建，但其部署受到根本性困境的严重阻碍：无约束的密集化导致过度的内存消耗，与边缘设备不兼容，而启发式剪枝无法在预设的高斯预算下实现最佳的渲染质量。本文提出了约束动态高斯溅射（CDGS），这是一个新颖的框架，将动态场景重建构建为预算约束的优化问题，以在训练期间强制执行严格的、用户定义的高斯预算。我们的关键见解是引入一个可微的预算控制器作为核心优化驱动。在该控制器的指导下，多模态统一重要性评分融合了几何、运动和感知线索，以实现精确的容量调节。为了最大限度地利用这个固定预算，我们进一步解耦了静态和动态元素的优化，采用了一种自适应分配机制，根据运动复杂度动态地分配容量。此外，我们实施了一个三阶段训练策略，以无缝地整合这些约束，确保精确地遵守目标计数。结合双模混合压缩方案，CDGS不仅严格遵守硬件约束（误差<2%），而且推动了速率-失真性能的帕累托前沿。大量的实验表明，CDGS在不同的容量限制下提供了最佳的渲染质量，与最先进的方法相比，实现了超过3倍的压缩。
🔬 方法详解
问题定义：动态场景重建旨在实现高保真度的4D建模，但现有动态高斯溅射方法存在两个主要问题。一是无约束的密集化导致内存占用过高，难以在边缘设备上部署。二是启发式剪枝方法在预设高斯预算下无法保证最佳的渲染质量，导致性能下降。
核心思路：CDGS的核心思路是将动态场景重建问题转化为一个预算约束的优化问题。通过引入一个可微的预算控制器，在训练过程中强制执行用户定义的高斯预算。该控制器根据几何、运动和感知等多模态信息，动态调整高斯分布的数量，从而在满足内存约束的同时，最大化渲染质量。
技术框架：CDGS的整体框架包含三个主要阶段。首先，初始化高斯分布。然后，通过三阶段训练策略，包括预热阶段、约束优化阶段和微调阶段，逐步优化高斯分布的参数，并强制执行预算约束。最后，采用双模混合压缩方案，进一步降低模型大小。其中，可微预算控制器是核心模块，负责根据多模态重要性评分动态调整高斯分布的数量。
关键创新：CDGS的关键创新在于引入了可微的预算控制器，实现了对高斯分布数量的精确控制。与传统的启发式剪枝方法不同，该控制器能够根据多模态信息动态调整高斯分布，从而在满足预算约束的同时，最大化渲染质量。此外，CDGS还采用了自适应分配机制，根据运动复杂度动态分配静态和动态元素的容量，进一步提高了渲染性能。
关键设计：CDGS的关键设计包括：1) 多模态统一重要性评分，融合了几何、运动和感知线索，用于评估高斯分布的重要性。2) 可微预算控制器，通过梯度下降优化高斯分布的数量，使其满足预算约束。3) 三阶段训练策略，逐步优化高斯分布的参数，并强制执行预算约束。4) 双模混合压缩方案，包括量化和剪枝，进一步降低模型大小。损失函数包括渲染损失、正则化损失和预算约束损失。
🖼️ 关键图片
📊 实验亮点
CDGS在不同容量限制下均实现了最佳的渲染质量，与最先进的方法相比，实现了超过3倍的压缩。在严格遵守硬件约束（误差<2%）的前提下，CDGS推动了速率-失真性能的帕累托前沿。实验结果表明，CDGS能够有效地平衡渲染质量和内存占用，为动态场景重建提供了一种高效的解决方案。
🎯 应用场景
CDGS在增强现实、虚拟现实、机器人导航、自动驾驶等领域具有广泛的应用前景。它可以用于创建轻量级、高保真的动态场景模型，从而在资源受限的设备上实现实时的4D渲染和交互。此外，CDGS还可以用于动态场景的压缩和传输，降低带宽需求，提高用户体验。
📄 摘要（原文）
While Dynamic Gaussian Splatting enables high-fidelity 4D reconstruction, its deployment is severely hindered by a fundamental dilemma: unconstrained densification leads to excessive memory consumption incompatible with edge devices, whereas heuristic pruning fails to achieve optimal rendering quality under preset Gaussian budgets. In this work, we propose Constrained Dynamic Gaussian Splatting (CDGS), a novel framework that formulates dynamic scene reconstruction as a budget-constrained optimization problem to enforce a strict, user-defined Gaussian budget during training. Our key insight is to introduce a differentiable budget controller as the core optimization driver. Guided by a multi-modal unified importance score, this controller fuses geometric, motion, and perceptual cues for precise capacity regulation. To maximize the utility of this fixed budget, we further decouple the optimization of static and dynamic elements, employing an adaptive allocation mechanism that dynamically distributes capacity based on motion complexity. Furthermore, we implement a three-phase training strategy to seamlessly integrate these constraints, ensuring precise adherence to the target count. Coupled with a dual-mode hybrid compression scheme, CDGS not only strictly adheres to hardware constraints (error < 2%}) but also pushes the Pareto frontier of rate-distortion performance. Extensive experiments demonstrate that CDGS delivers optimal rendering quality under varying capacity limits, achieving over 3x compression compared to state-of-the-art methods.