TED-4DGS: Temporally Activated and Embedding-based Deformation for 4DGS Compression

📄 arXiv: 2512.05446v1 📥 PDF

作者: Cheng-Yuan Ho, He-Bi Yang, Jui-Chiu Chiang, Yu-Lun Liu, Wen-Hsiao Peng

分类: cs.CV

发布日期: 2025-12-05

💡 一句话要点

TED-4DGS：提出时序激活和嵌入式形变的4DGS压缩方法，实现高效动态场景表示。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动态3DGS 4DGS压缩 率失真优化 时序激活 嵌入式形变 隐式神经表示 场景表示

📋 核心要点

  1. 现有动态3DGS方法在形变建模和压缩效率上存在不足，要么参数冗余，要么缺乏时间控制。
  2. TED-4DGS通过时序激活参数和嵌入式形变，实现了对动态3DGS表示更紧凑和高效的建模。
  3. 该方法结合了INR超先验和通道式自回归模型，实现了率失真优化的压缩，并在真实数据集上取得了SOTA性能。

📝 摘要（中文）

本文针对动态3D高斯溅射（4DGS）表示的压缩问题，提出了一种时序激活和嵌入式形变方案TED-4DGS，旨在实现率失真优化的4DGS压缩。现有方法要么依赖于过度参数化且生命周期短的空时4DGS，要么依赖于缺乏显式时间控制的规范3DGS形变。TED-4DGS基于稀疏锚点的3DGS表示，为每个锚点分配可学习的时序激活参数，以控制其随时间的出现和消失。同时，每个锚点的时间嵌入查询共享的形变库，生成锚点特定的形变。为了实现率失真压缩，我们引入了基于隐式神经表示（INR）的超先验来建模锚点属性分布，并采用通道式自回归模型来捕获锚点内的相关性。实验结果表明，该方案在多个真实世界数据集上实现了最先进的率失真性能。据我们所知，这是首次尝试针对动态3DGS表示进行率失真优化的压缩框架。

🔬 方法详解

问题定义：现有动态3DGS方法在表示动态场景时，存在两个主要问题。一是基于空时4DGS的方法，使用大量的、生命周期短的高斯基元，导致参数冗余。二是基于规范3DGS加形变的方法，缺乏对形变过程的显式时间控制，难以准确捕捉动态变化。这两种方法都缺乏针对率失真优化的压缩策略，导致压缩效率不高。

核心思路：TED-4DGS的核心思路是结合两种现有方法的优点，利用稀疏锚点来表示3DGS，并引入时序激活参数和嵌入式形变来控制锚点的动态行为。通过可学习的时序激活参数来控制锚点的出现和消失，并通过时间嵌入查询共享的形变库来生成锚点特定的形变。这种方法既减少了参数冗余，又实现了对形变过程的显式时间控制。

技术框架：TED-4DGS的整体框架包括以下几个主要模块：1) 稀疏锚点3DGS表示：使用少量的锚点来表示静态场景。2) 时序激活模块：为每个锚点分配可学习的时序激活参数，控制其在不同时间点的激活状态。3) 嵌入式形变模块：使用轻量级的锚点时间嵌入查询共享的形变库，生成锚点特定的形变。4) 率失真优化模块：使用基于INR的超先验和通道式自回归模型来建模锚点属性分布，并进行率失真优化。

关键创新：TED-4DGS的关键创新在于以下几点：1) 提出了时序激活参数，实现了对锚点生命周期的显式控制。2) 提出了嵌入式形变，利用共享的形变库来减少参数量。3) 结合了INR超先验和通道式自回归模型，实现了率失真优化的压缩。与现有方法相比，TED-4DGS在参数效率、时间控制和压缩性能方面都有显著提升。

关键设计：时序激活参数使用sigmoid函数进行平滑处理，以避免突变。嵌入式形变使用MLP网络将时间嵌入映射到形变参数。率失真优化模块使用拉格朗日乘子法来平衡率和失真。INR超先验使用小的MLP网络来建模锚点属性分布。通道式自回归模型使用GRU网络来捕获锚点内的相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TED-4DGS在多个真实世界数据集上实现了最先进的率失真性能。与现有方法相比，TED-4DGS在相同码率下可以获得更高的视觉质量，或者在相同视觉质量下可以实现更低的码率。具体的数据提升幅度在论文中进行了详细的展示和分析，证明了该方法的有效性。

🎯 应用场景

TED-4DGS在虚拟现实、增强现实、自动驾驶、机器人导航等领域具有广泛的应用前景。它可以用于高效地存储和传输动态3D场景，从而降低存储成本和带宽需求。此外，TED-4DGS还可以用于动态场景的编辑和渲染，为用户提供更逼真的交互体验。未来，该技术有望应用于三维视频会议、远程协作等场景。

📄 摘要（原文）

Building on the success of 3D Gaussian Splatting (3DGS) in static 3D scene representation, its extension to dynamic scenes, commonly referred to as 4DGS or dynamic 3DGS, has attracted increasing attention. However, designing more compact and efficient deformation schemes together with rate-distortion-optimized compression strategies for dynamic 3DGS representations remains an underexplored area. Prior methods either rely on space-time 4DGS with overspecified, short-lived Gaussian primitives or on canonical 3DGS with deformation that lacks explicit temporal control. To address this, we present TED-4DGS, a temporally activated and embedding-based deformation scheme for rate-distortion-optimized 4DGS compression that unifies the strengths of both families. TED-4DGS is built on a sparse anchor-based 3DGS representation. Each canonical anchor is assigned learnable temporal-activation parameters to specify its appearance and disappearance transitions over time, while a lightweight per-anchor temporal embedding queries a shared deformation bank to produce anchor-specific deformation. For rate-distortion compression, we incorporate an implicit neural representation (INR)-based hyperprior to model anchor attribute distributions, along with a channel-wise autoregressive model to capture intra-anchor correlations. With these novel elements, our scheme achieves state-of-the-art rate-distortion performance on several real-world datasets. To the best of our knowledge, this work represents one of the first attempts to pursue a rate-distortion-optimized compression framework for dynamic 3DGS representations.