GrainGS: Gradient-Decoupled Gaussian Splatting for Efficient Dynamic Novel View Synthesis
作者: Jiahao He, Yihua Shao, Zhengkai Zhao, Pan Gao, Fei Ma, Jingcai Guo, Hao Tang, Nicu Sebe, Qi Tian
分类: cs.CV
发布日期: 2026-07-23
💡 一句话要点
提出GrainGS以解决动态场景重建中的运动建模与结构稳定性问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动态场景重建 高斯点云 新视图合成 运动建模 结构稳定性 实时渲染 计算机视觉
📋 核心要点
- 现有的动态场景重建方法在运动建模和结构稳定性之间存在权衡，导致冗余原始体积增长或局部运动抑制。
- GrainGS通过结合层次锚点支架与逐高斯变形，解决了动态场景重建中的运动建模与结构稳定性问题。
- 在合成基准测试中，GrainGS达到了36.98分贝的平均峰值信噪比，以435.6帧每秒的速度渲染，并仅需4.67兆字节的存储空间。
📝 摘要（中文）
动态场景重建中的3D高斯点云需要在细粒度运动建模、结构稳定性和紧凑表示之间取得平衡。现有的逐原始方法虽然提供了灵活的局部变形，但常常面临冗余原始体积增长的问题，而基于锚点的方法则在提高空间规律性的同时抑制了局部变化运动。为了解决这些问题，本文提出了GrainGS，一个结合了层次锚点支架与逐高斯变形的动态高斯框架。通过静态预热阶段建立时间不变的典型表示，并在联合训练中采用停止梯度操作，保持对重建目标的直接优化。每个高斯预测独立的时间偏移，允许在结构约束下进行详细的局部运动。实验表明，GrainGS在合成和真实世界的多视角基准测试中实现了高质量重建、实时新视图合成和紧凑存储。
🔬 方法详解
问题定义：论文旨在解决动态场景重建中运动建模与结构稳定性之间的矛盾。现有方法在灵活性与空间规律性之间难以取得平衡，导致冗余原始体积或局部运动抑制的问题。
核心思路：GrainGS的核心思路是结合层次锚点支架与逐高斯变形，通过静态预热阶段建立时间不变的典型表示，并在联合训练中采用停止梯度操作，优化重建目标。
技术框架：整体架构包括静态预热阶段和联合训练阶段。静态预热阶段通过观察所有时间戳建立时间不变的典型表示，联合训练阶段则通过停止梯度操作保持对重建目标的直接优化。
关键创新：GrainGS的关键创新在于采用停止梯度操作，阻断变形介导的梯度路径，同时允许高斯独立预测位置、旋转和缩放的时间偏移，从而实现局部运动的详细建模。
关键设计：在设计中，采用了层次锚点支架和逐高斯变形的结合，损失函数设计上强调重建目标的直接优化，网络结构上则允许每个高斯独立预测运动偏移。
🖼️ 关键图片
📊 实验亮点
在合成基准测试中，GrainGS实现了平均峰值信噪比36.98分贝，渲染速度达到435.6帧每秒，存储需求仅为4.67兆字节，显著优于现有方法，展示了其在动态场景重建中的高效性和实用性。
🎯 应用场景
GrainGS在动态场景重建和新视图合成方面具有广泛的应用潜力，特别是在虚拟现实、增强现实和影视制作等领域。其高效的重建能力和紧凑的存储需求使其适用于实时应用场景，未来可能推动相关技术的进一步发展与普及。
📄 摘要（原文）
Dynamic scene reconstruction with 3D Gaussian Splatting requires a balance between fine-grained motion modeling, structural stability, and compact representation. Existing per-primitive methods provide flexible local deformation but often suffer from redundant primitive growth, while anchor-based methods improve spatial regularity at the cost of suppressing locally varying motion. To address these issues, we present GrainGS, a dynamic Gaussian framework that combines a hierarchical anchor scaffold with per-Gaussian deformation. A static warm-up stage first establishes a time-invariant canonical representation from observations across all timestamps. During joint training, a stop-gradient operation blocks the deformation-mediated gradient pathway to the canonical positions while preserving their direct refinement through the reconstruction objective. Each Gaussian then predicts independent temporal offsets for position, rotation, and scale, enabling detailed local motion within a structurally constrained scaffold. A canonical-residual appearance decomposition further models frame-dependent photometric changes without forcing them into geometric deformation. Experiments on synthetic monocular and real-world multiview benchmarks show that GrainGS achieves high reconstruction quality, real-time novel view synthesis, and compact storage. Under the synthetic benchmark setting, it reaches an average peak signal-to-noise ratio of 36.98 decibels, renders at 435.6 frames per second, and requires 4.67 megabytes of storage.