HEMGS: A Hybrid Entropy Model for 3D Gaussian Splatting Data Compression

📄 arXiv: 2411.18473v2 📥 PDF

作者: Lei Liu, Zhenghao Chen, Wei Jiang, Wei Wang, Dong Xu

分类: cs.CV

发布日期: 2024-11-27 (更新: 2025-04-22)

💡 一句话要点

提出HEMGS混合熵模型，用于高效压缩3D高斯溅射数据，显著降低存储空间。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 数据压缩 熵模型 有损压缩 无损压缩 变速率压缩 超先验网络

📋 核心要点

  1. 现有3DGS数据压缩方法训练开销大，且难以实现灵活的变速率压缩。
  2. 提出HEMGS混合熵模型，利用变速率预测器、超先验网络和自回归网络，实现高效的有损-无损混合压缩。
  3. 实验表明，HEMGS在保持渲染质量的同时，平均减少了约40%的存储空间，达到SOTA水平。

📝 摘要（中文）

本文提出了一种用于3D高斯溅射(3DGS)数据压缩的新框架。该方法基于anchor的3DGS方法，通过引入一种新颖的3D高斯溅射混合熵模型(HEMGS)来压缩每个anchor内的所有属性，以实现混合有损-无损压缩。它由三个主要组成部分组成：一个变速率预测器、一个超先验网络和一个自回归网络。首先，与之前采用多个模型实现多速率有损压缩从而增加训练开销的方法不同，我们的变速率预测器通过单个模型和一个超参数λ生成一个学习到的量化步长特征，从而实现变速率压缩，适用于多种有损压缩。其次，为了提高无损压缩，超先验网络捕获场景无关和场景特定的特征以生成先验特征，而自回归网络采用具有灵活感受野的自适应上下文选择算法来生成上下文特征。通过整合这两个特征，HEMGS可以准确地估计每个属性中当前编码元素的分布，从而改进熵编码并减少存储。我们将HEMGS集成到压缩框架中，在四个基准测试上的实验结果表明，与基线方法相比，HEMGS在保持渲染质量的同时，平均减少了约40%的大小，并实现了最先进的压缩结果。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射(3DGS)数据的高效压缩问题。现有的3DGS数据压缩方法通常采用多个模型来实现多速率有损压缩，导致训练开销巨大。此外，这些方法在无损压缩方面的性能还有待提高，难以充分利用数据中的上下文信息。

核心思路：论文的核心思路是设计一个混合熵模型(HEMGS)，该模型能够同时实现有损和无损压缩，并且能够通过单个模型实现变速率压缩，从而降低训练开销。HEMGS通过学习数据的先验分布和上下文信息，更准确地估计编码元素的概率分布，从而提高压缩效率。

技术框架：HEMGS压缩框架主要包含三个模块：变速率预测器、超先验网络和自回归网络。首先，变速率预测器通过一个模型和一个超参数λ生成量化步长特征，实现变速率有损压缩。然后，超先验网络捕获场景无关和场景相关的特征，生成先验特征。自回归网络则采用自适应上下文选择算法，生成上下文特征。最后，将先验特征和上下文特征结合，用于熵编码。

关键创新：HEMGS的关键创新在于其混合熵模型的设计，该模型能够同时实现有损和无损压缩，并且能够通过单个模型实现变速率压缩。此外，HEMGS还采用了自适应上下文选择算法，能够更有效地利用数据中的上下文信息。

关键设计：变速率预测器通过学习量化步长特征来实现变速率压缩，超参数λ控制压缩率。超先验网络和自回归网络采用卷积神经网络结构，用于提取先验特征和上下文特征。自适应上下文选择算法根据编码元素的邻域信息，动态选择合适的上下文特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HEMGS在四个基准数据集上取得了显著的压缩效果，与基线方法相比，平均减少了约40%的存储空间，同时保持了良好的渲染质量。HEMGS在压缩性能上达到了state-of-the-art水平，证明了其有效性和优越性。

🎯 应用场景

该研究成果可应用于三维重建、虚拟现实、自动驾驶等领域，能够有效降低3D场景数据的存储和传输成本，提升相关应用的性能和用户体验。未来，该方法有望进一步扩展到其他类型的3D数据压缩，例如点云数据和网格数据。

📄 摘要（原文）

In this work, we propose a novel compression framework for 3D Gaussian Splatting (3DGS) data. Building on anchor-based 3DGS methodologies, our approach compresses all attributes within each anchor by introducing a novel Hybrid Entropy Model for 3D Gaussian Splatting (HEMGS) to achieve hybrid lossy-lossless compression. It consists of three main components: a variable-rate predictor, a hyperprior network, and an autoregressive network. First, unlike previous methods that adopt multiple models to achieve multi-rate lossy compression, thereby increasing training overhead, our variable-rate predictor enables variable-rate compression with a single model and a hyperparameter $λ$ by producing a learned Quantization Step feature for versatile lossy compression. Second, to improve lossless compression, the hyperprior network captures both scene-agnostic and scene-specific features to generate a prior feature, while the autoregressive network employs an adaptive context selection algorithm with flexible receptive fields to produce a contextual feature. By integrating these two features, HEMGS can accurately estimate the distribution of the current coding element within each attribute, enabling improved entropy coding and reduced storage. We integrate HEMGS into a compression framework, and experimental results on four benchmarks indicate that HEMGS achieves about a 40% average reduction in size while maintaining rendering quality over baseline methods and achieving state-of-the-art compression results.