A Hierarchical Compression Technique for 3D Gaussian Splatting Compression

📄 arXiv: 2411.06976v2 📥 PDF

作者: He Huang, Wenjie Huang, Qi Yang, Yiling Xu, Zhu li

分类: cs.CV, cs.MM

发布日期: 2024-11-11 (更新: 2025-03-16)

💡 一句话要点

提出一种层级压缩技术HGSC，用于高效压缩3D高斯溅射数据，提升存储与传输效率。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 数据压缩 层级压缩 八叉树 KD树 最远点采样 novel view synthesis

📋 核心要点

  1. 现有3D高斯溅射数据量巨大，直接存储和传输成本高昂，而针对GS数据本身的压缩方法研究较少。
  2. 提出层级GS压缩(HGSC)技术，通过高斯分布剪枝、八叉树位置压缩和层级属性预测等手段，有效降低数据冗余。
  3. 实验表明，HGSC在小型场景数据集上相比现有方法，压缩率提升超过4.5倍，同时保持了良好的视觉质量。

📝 摘要（中文）

3D高斯溅射(GS)在 novel view synthesis 中展现了卓越的渲染质量和生成速度。然而，庞大的数据量给存储和传输带来了挑战，使得3D GS压缩成为一项关键技术。目前，3D GS压缩研究主要集中在开发更紧凑的场景表示，例如将显式3D GS数据转换为隐式形式。相比之下，GS数据本身的压缩几乎没有被探索。为了解决这个差距，我们提出了一种层级GS压缩(HGSC)技术。首先，我们基于全局和局部重要性导出的重要性分数来修剪不重要的高斯分布，从而有效地减少冗余，同时保持视觉质量。使用八叉树结构来压缩3D位置。基于3D GS八叉树，我们通过采用KD树将3D GS划分为多个块，实现了一种层级属性压缩策略。我们应用最远点采样来选择每个块内的锚点基元，并将其他基元作为具有不同细节级别(LoD)的非锚点基元。锚点基元作为跨不同LoD预测非锚点基元的参考点，以减少空间冗余。对于锚点基元，我们使用区域自适应层级变换来实现各种属性的近无损压缩。对于非锚点基元，每个基元都基于k个最近的锚点基元进行预测。为了进一步最小化预测误差，重建的LoD和锚点基元被组合起来，形成新的锚点基元，以预测下一个LoD。我们的方法在小型场景数据集上实现了优于最先进压缩方法的压缩质量，并且数据大小显著减少了4.5倍以上。

🔬 方法详解

问题定义：论文旨在解决3D高斯溅射(GS)数据量过大带来的存储和传输瓶颈问题。现有方法主要集中在将显式GS数据转换为隐式表示，而忽略了对GS数据本身进行压缩的潜力。直接压缩GS数据可以避免引入额外的表示误差，并保留原始数据的灵活性。

核心思路：论文的核心思路是利用GS数据的空间相关性和属性相关性，通过层级结构和预测机制来减少数据冗余。具体来说，首先通过重要性评估进行高斯分布剪枝，然后使用八叉树压缩位置信息。在此基础上，构建基于KD树的层级结构，将GS数据划分为多个块，并采用最远点采样选择锚点基元，利用锚点基元预测非锚点基元，实现属性压缩。

技术框架：HGSC的整体框架包括以下几个主要阶段： 1. 高斯分布剪枝：基于全局和局部重要性分数，移除不重要的GS。 2. 八叉树位置压缩：利用八叉树结构对3D位置信息进行压缩。 3. 层级属性压缩： a. KD树划分：使用KD树将GS数据划分为多个块。 b. 锚点选择：在每个块中使用最远点采样选择锚点基元。 c. 层级预测：利用锚点基元预测非锚点基元，并逐层优化锚点基元。 d. 区域自适应层级变换：对锚点基元进行近无损压缩。

关键创新：该方法最重要的创新点在于提出了一个层级属性压缩框架，通过锚点基元预测和逐层优化，有效地利用了GS数据的空间和属性相关性。与现有方法相比，该方法直接作用于GS数据本身，避免了引入额外的表示误差，并具有更高的压缩效率。

关键设计： * 重要性分数：结合全局和局部信息，用于高斯分布剪枝。 * KD树划分：平衡块的大小和锚点基元的数量。 * 最远点采样：确保锚点基元能够代表整个块的特征。 * 层级预测：通过迭代优化锚点基元，减少预测误差。 * 区域自适应层级变换：根据局部特征调整变换参数，实现近无损压缩。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HGSC在小型场景数据集上实现了超过4.5倍的数据压缩率，显著优于当前最先进的压缩方法。该方法在保证视觉质量的前提下，有效降低了3D高斯溅射的数据量，为大规模场景的应用提供了可能。

🎯 应用场景

该研究成果可广泛应用于三维场景的存储、传输和渲染等领域，例如VR/AR、游戏开发、自动驾驶、数字孪生等。通过高效压缩3D高斯溅射数据，可以降低存储成本、减少网络带宽占用，并提升渲染效率，从而改善用户体验，加速相关技术的普及。

📄 摘要（原文）

3D Gaussian Splatting (GS) demonstrates excellent rendering quality and generation speed in novel view synthesis. However, substantial data size poses challenges for storage and transmission, making 3D GS compression an essential technology. Current 3D GS compression research primarily focuses on developing more compact scene representations, such as converting explicit 3D GS data into implicit forms. In contrast, compression of the GS data itself has hardly been explored. To address this gap, we propose a Hierarchical GS Compression (HGSC) technique. Initially, we prune unimportant Gaussians based on importance scores derived from both global and local significance, effectively reducing redundancy while maintaining visual quality. An Octree structure is used to compress 3D positions. Based on the 3D GS Octree, we implement a hierarchical attribute compression strategy by employing a KD-tree to partition the 3D GS into multiple blocks. We apply farthest point sampling to select anchor primitives within each block and others as non-anchor primitives with varying Levels of Details (LoDs). Anchor primitives serve as reference points for predicting non-anchor primitives across different LoDs to reduce spatial redundancy. For anchor primitives, we use the region adaptive hierarchical transform to achieve near-lossless compression of various attributes. For non-anchor primitives, each is predicted based on the k-nearest anchor primitives. To further minimize prediction errors, the reconstructed LoD and anchor primitives are combined to form new anchor primitives to predict the next LoD. Our method notably achieves superior compression quality and a significant data size reduction of over 4.5 times compared to the state-of-the-art compression method on small scenes datasets.