PD-4DGS:Progressive Decomposition of 4D Gaussian Splatting for Bandwidth-Adaptive Dynamic Scene Streaming
作者: Jiachen Li, Guangzhi Han, Jin Wan, Delong Han, Yuan Gao, Min Li, Mingle Zhou, Gang Li
分类: cs.CV
发布日期: 2026-05-12
💡 一句话要点
提出PD-4DGS，实现4D高斯溅射的渐进式分解，用于带宽自适应的动态场景流式传输。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 4D高斯溅射 动态场景 渐进式流式传输 带宽自适应 分层变形分解
📋 核心要点
- 现有4DGS模型作为单体比特流，导致移动网络下首帧加载延迟过高，无法满足自适应码率流媒体的需求。
- PD-4DGS通过分层变形分解(HDD)将4DGS的运动层次解耦为可独立传输的层，实现渐进式传输和渲染。
- 实验表明，PD-4DGS在保证渲染质量的同时，显著降低了比特流大小和首帧延迟，提升了用户体验。
📝 摘要（中文）
4D高斯溅射(4DGS)实现了高质量的动态新视角合成，但目前的模型仍然是单体比特流，客户端必须完全下载才能渲染任何帧，这导致移动带宽上出现数十到数百秒的黑屏等待，使得4DGS与现代自适应比特率传输不兼容。渐进式3DGS压缩缓解了静态场景的这个问题，但它仅作用于空间锚点，无法分割主导动态场景大小的时间变形网络。我们提出了PD-4DGS，这是第一个用于4DGS的渐进式压缩和按需传输的框架。分层变形分解(HDD)将4DGS中已经存在的粗到精的运动层次结构外化为三个独立可传输的层——静态支架、全局变形和局部细化——以便比特流的任何前缀都可以渲染，从而将单个训练运行转换为可扩展的、兼容DASH/HLS的比特流。高斯熵属性率失真损失以及时间掩码一致性正则化器缩小了基础层，同时抑制了低比特率闪烁；容量加权rollout schedule，通过学习到的激活率rho进行门控在线控制，从而防止变形网络训练不足，而无需任何per-scene超参数。在Dycheck iPhone基准测试中，PD-4DGS在匹配的渲染保真度下将流式比特流减少了>60%，并在2 Mbps链路上将首帧延迟从73-930秒降低到约1.7秒，从而为4DGS实现了真正的按需渐进式流式传输。
🔬 方法详解
问题定义：现有4D高斯溅射（4DGS）模型在动态场景流式传输中面临的主要问题是，整个场景数据必须完全下载后才能开始渲染，导致在带宽受限的网络环境下，用户需要等待很长时间才能看到第一帧画面，严重影响用户体验。现有方法无法有效分割和压缩4DGS中的时间变形网络，导致无法实现渐进式加载和渲染。
核心思路：PD-4DGS的核心思路是将4DGS模型中的时间变形过程进行分层解耦，提取出静态骨架、全局形变和局部精细化三个层次的运动信息。通过这种分层结构，可以将模型分解为多个可独立传输的层，从而实现渐进式加载和渲染。用户可以先下载静态骨架和全局形变信息，快速渲染出一个粗略的场景，然后逐步加载局部精细化信息，提升渲染质量。
技术框架：PD-4DGS的整体框架包括以下几个主要模块：1) 分层变形分解(HDD)：将4DGS模型分解为静态骨架、全局形变和局部精细化三个层次。2) 高斯熵属性率失真损失：用于压缩基础层，减少比特流大小。3) 时间掩码一致性正则化器：用于抑制低比特率下的闪烁现象。4) 容量加权rollout schedule：用于防止变形网络训练不足。5) 学习到的激活率rho：用于在线控制变形网络的激活状态。
关键创新：PD-4DGS最关键的创新在于提出了分层变形分解(HDD)方法，将4DGS模型中的时间变形过程解耦为多个可独立传输的层。这种方法使得可以对不同层次的运动信息进行差异化压缩和传输，从而实现渐进式加载和渲染。与现有方法相比，PD-4DGS能够更好地适应带宽变化，提供更流畅的流式传输体验。
关键设计：PD-4DGS的关键设计包括：1) 分层变形分解的具体实现方式：如何将4DGS模型中的时间变形过程分解为静态骨架、全局形变和局部精细化三个层次？2) 高斯熵属性率失真损失的具体形式：如何设计损失函数，以实现对基础层的有效压缩？3) 时间掩码一致性正则化器的具体形式：如何设计正则化器，以抑制低比特率下的闪烁现象？4) 容量加权rollout schedule的具体实现方式：如何设计rollout schedule，以防止变形网络训练不足？5) 学习到的激活率rho的具体形式：如何学习激活率，以在线控制变形网络的激活状态？这些具体的设计细节决定了PD-4DGS的性能和效果。
🖼️ 关键图片
📊 实验亮点
在Dycheck iPhone基准测试中，PD-4DGS在保持渲染质量的前提下，将流式传输的比特流大小减少了超过60%。在2 Mbps的网络环境下，PD-4DGS将首帧延迟从73-930秒降低到约1.7秒，显著提升了用户体验。这些实验结果表明，PD-4DGS在动态场景流式传输方面具有显著优势。
🎯 应用场景
PD-4DGS技术可广泛应用于动态场景的流式传输，例如VR/AR应用、在线游戏、远程协作等。通过自适应带宽调整，该技术能够保证在不同网络环境下提供流畅的观看体验。此外，该技术还可以应用于动态场景的编辑和创作，例如电影特效制作、动画制作等，提高创作效率和质量。
📄 摘要（原文）
4D Gaussian Splatting (4DGS) enables high-quality dynamic novel view synthesis, yet current models remain monolithic bitstreams that clients must download in full before any frame can be rendered, causing black-screen waits of tens to hundreds of seconds on mobile bandwidth and leaving 4DGS incompatible with modern adaptive-bitrate delivery. Progressive 3DGS compression alleviates this for static scenes, but it acts only on spatial anchors and cannot partition the temporal deformation networks that dominate dynamic-scene size. We present PD-4DGS, the first framework for progressive compression and on-demand transmission of 4DGS. Hierarchical Deformation Decomposition (HDD) externalises the coarse-to-fine motion hierarchy already latent in 4DGS into three independently transmittable layers -- a static scaffold, a global deformation, and a local refinement -- so that any prefix of the bitstream is already renderable, turning a single training run into a scalable, DASH/HLS-compatible bitstream. A Gaussian-entropy attribute rate-distortion loss together with a temporal mask consistency regulariser shrink the base layer while suppressing low-bitrate flicker; a capacity-weighted rollout schedule, gated online by a learnt activation rate rho, then prevents deformation-network under-training without any per-scene hyperparameter. On the Dycheck iPhone benchmark, PD-4DGS cuts the streamed bitstream by >60% at matched rendering fidelity and reduces first-frame latency from 73--930 s to ~1.7 s on a 2 Mbps link, uniquely enabling true on-demand progressive streaming for 4DGS.