MEGA: Memory-Efficient 4D Gaussian Splatting for Dynamic Scenes
作者: Xinjie Zhang, Zhening Liu, Yifan Zhang, Xingtong Ge, Dailan He, Tongda Xu, Yan Wang, Zehong Lin, Shuicheng Yan, Jun Zhang
分类: cs.CV, cs.GR
发布日期: 2024-10-17 (更新: 2025-07-22)
备注: Accepted by ICCV 2025
🔗 代码/项目: GITHUB
💡 一句话要点
MEGA：面向动态场景的内存高效4D高斯溅射方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 4D高斯溅射 动态场景建模 内存优化 熵约束 高斯变形
📋 核心要点
- 4D高斯溅射(4DGS)在动态场景建模中表现出色，但其高内存占用限制了应用。
- MEGA通过分解颜色属性和引入熵约束变形，显著减少了4DGS的内存需求。
- 实验表明，MEGA在保持渲染质量和速度的同时，存储空间减少了125-190倍。
📝 摘要（中文）
4D高斯溅射(4DGS)最近成为一种很有前途的技术，用于高保真地捕捉复杂的动态3D场景。它利用4D高斯表示和GPU友好的光栅化器，从而实现快速的渲染速度。尽管有这些优点，4DGS面临着巨大的挑战，特别是需要数百万个4D高斯，每个高斯都有大量的相关属性，从而导致大量的内存和存储成本。本文介绍了一种内存高效的4DGS框架。我们通过将颜色属性分解为每个高斯的直接颜色分量(仅包含3个参数)和一个共享的轻量级交流颜色预测器来简化颜色属性。这种方法消除了对球谐系数的需求，而传统的4DGS中通常涉及多达144个参数，从而创建了一种内存高效的4D高斯表示。此外，我们引入了一种熵约束的高斯变形技术，该技术使用变形场来扩展每个高斯的作用范围，并集成了一种基于不透明度的熵损失来限制高斯的数量，从而迫使我们的模型使用尽可能少的高斯来很好地拟合动态场景。通过简单的半精度存储和zip压缩，与原始4DGS相比，我们的框架在Technicolor和Neural 3D Video数据集上分别实现了大约190倍和125倍的存储减少。同时，它保持了相当的渲染速度和场景表示质量，为该领域树立了新的标准。
🔬 方法详解
问题定义：4D高斯溅射(4DGS)虽然能高质量地渲染动态3D场景，但其内存占用过高，限制了其在资源受限设备上的应用。每个4D高斯需要存储大量属性，特别是颜色属性，传统方法使用球谐函数表示，参数量巨大。
核心思路：MEGA的核心思路是通过减少每个高斯所需的参数数量，以及限制高斯的总数量，从而降低整体内存占用。具体来说，MEGA简化了颜色属性的表示，并引入了一种熵约束机制来控制高斯数量。
技术框架：MEGA框架主要包含以下几个模块：1) 简化的颜色属性表示：将颜色分解为直接颜色分量和共享的交流颜色预测器。2) 熵约束高斯变形：使用变形场扩展高斯的作用范围，并使用基于不透明度的熵损失来限制高斯数量。3) 半精度存储和zip压缩：进一步降低存储空间。整体流程是，首先使用简化的颜色表示初始化高斯，然后通过优化高斯参数和变形场来拟合动态场景，同时使用熵损失来约束高斯数量，最后进行半精度存储和压缩。
关键创新：MEGA的关键创新在于：1) 提出了内存高效的颜色属性表示方法，避免了使用参数量巨大的球谐函数。2) 引入了熵约束的高斯变形技术，能够在保证渲染质量的同时，显著减少高斯数量。
关键设计：颜色属性表示方面，MEGA将颜色分解为每个高斯的3参数直接颜色分量和一个共享的轻量级交流颜色预测器。熵损失函数基于高斯的不透明度，鼓励模型使用更少的高斯。变形场用于扩展高斯的作用范围，使其能够更好地覆盖动态场景。此外，使用半精度存储和zip压缩进一步降低存储空间。
🖼️ 关键图片
📊 实验亮点
MEGA在Technicolor和Neural 3D Video数据集上实现了显著的存储空间缩减，分别达到了190倍和125倍，同时保持了与原始4DGS相当的渲染速度和场景表示质量。这表明MEGA在内存效率方面取得了重大突破。
🎯 应用场景
该研究成果可应用于虚拟现实、增强现实、游戏开发等领域，尤其是在移动设备或嵌入式系统等资源受限的环境中，能够实现高质量的动态3D场景渲染。未来，该技术有望推动动态场景建模在更广泛的应用场景中的普及。
📄 摘要（原文）
4D Gaussian Splatting (4DGS) has recently emerged as a promising technique for capturing complex dynamic 3D scenes with high fidelity. It utilizes a 4D Gaussian representation and a GPU-friendly rasterizer, enabling rapid rendering speeds. Despite its advantages, 4DGS faces significant challenges, notably the requirement of millions of 4D Gaussians, each with extensive associated attributes, leading to substantial memory and storage cost. This paper introduces a memory-efficient framework for 4DGS. We streamline the color attribute by decomposing it into a per-Gaussian direct color component with only 3 parameters and a shared lightweight alternating current color predictor. This approach eliminates the need for spherical harmonics coefficients, which typically involve up to 144 parameters in classic 4DGS, thereby creating a memory-efficient 4D Gaussian representation. Furthermore, we introduce an entropy-constrained Gaussian deformation technique that uses a deformation field to expand the action range of each Gaussian and integrates an opacity-based entropy loss to limit the number of Gaussians, thus forcing our model to use as few Gaussians as possible to fit a dynamic scene well. With simple half-precision storage and zip compression, our framework achieves a storage reduction by approximately 190$\times$ and 125$\times$ on the Technicolor and Neural 3D Video datasets, respectively, compared to the original 4DGS. Meanwhile, it maintains comparable rendering speeds and scene representation quality, setting a new standard in the field. Code is available at https://github.com/Xinjie-Q/MEGA.