Smaller and Faster 3DGS via Post-Training Dictionary Learning

📄 arXiv: 2605.30396v1 📥 PDF

作者: Jiarong Gong, Jonas Unger, Ehsan Miandji

分类: cs.GR, cs.LG

发布日期: 2026-05-28

💡 一句话要点

提出基于字典学习的3DGS后训练压缩框架，实现模型小型化与加速。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 字典学习 模型压缩 实时渲染 后训练量化

📋 核心要点

  1. 现有3DGS模型体积大，难以在资源受限设备上部署，且现有压缩方法通常引入额外可训练参数并降低图像质量。
  2. 提出一种基于字典学习的后训练压缩框架，无需重新训练或修改现有3DGS模型即可实现压缩。
  3. 实验表明，该方法在压缩模型的同时，显著提升了渲染速度，并保持了图像质量。

📝 摘要（中文）

3D高斯溅射(3DGS)是一种有前景的神经场景表示方法，可用于实时渲染，但训练后的模型通常具有较大的内存占用，限制了在低功耗设备上的部署。现有的压缩技术通常会导致架构具有多个额外的可训练参数。虽然实现了出色的压缩率，但它们会引入明显的图像质量下降。本文提出了一种基于字典学习的3DGS压缩框架。所提出的后训练压缩流程几乎可以部署在任何3DGS模型中，而无需重新训练或修改现有的3DGS模型。该压缩框架易于实现，但提供了显著的压缩能力，保留了图像质量，并提高了实时渲染性能。在13个基准场景中，该方法应用于3DGS、3DGS-MCMC和PixelGS时，分别实现了平均3.95倍、3.10倍和4.55倍的压缩率。这在保持图像质量的同时，实现了23.3%、24.3%和25.3%的一致渲染加速。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)模型虽然在实时渲染方面表现出色，但其庞大的模型体积限制了其在移动设备或嵌入式系统等资源受限平台上的应用。现有的压缩方法，例如网络剪枝或量化，通常需要重新训练模型，或者引入额外的可训练参数，这增加了计算成本和复杂度。此外，这些方法往往会在压缩率和图像质量之间做出妥协，导致渲染质量下降。

核心思路：本文的核心思路是利用字典学习来压缩3DGS模型中的参数。字典学习是一种无监督学习方法，旨在找到一组基向量（字典），使得原始数据可以被这些基向量的线性组合有效地表示。通过将3DGS模型的参数（例如，高斯分布的均值、方差、颜色等）表示为字典中少量基向量的线性组合，可以显著减少模型所需的存储空间。这种方法无需重新训练模型，并且可以保持较高的图像质量。

技术框架：该方法采用后训练压缩流程，主要包含以下几个阶段：1) 参数提取：从预训练的3DGS模型中提取需要压缩的参数，例如高斯分布的均值、方差、颜色等。2) 字典学习：使用提取的参数作为训练数据，训练一个字典。可以使用诸如K-Means或稀疏编码等算法进行字典学习。3) 参数编码：将原始参数编码为字典中基向量的线性组合。可以使用稀疏编码技术来确保只有少量的基向量被用于表示每个参数。4) 模型重建：使用编码后的参数重建压缩后的3DGS模型。

关键创新：该方法最重要的技术创新点在于其将字典学习应用于3DGS模型的后训练压缩。与现有的压缩方法相比，该方法无需重新训练模型，并且可以有效地平衡压缩率和图像质量。此外，该方法可以很容易地集成到现有的3DGS框架中，而无需对现有模型进行任何修改。

关键设计：在字典学习阶段，可以使用不同的字典学习算法，例如K-Means或稀疏编码。选择合适的算法取决于具体的应用场景和性能要求。在参数编码阶段，可以使用不同的稀疏编码技术，例如L1正则化或正交匹配追踪。稀疏编码的目的是确保只有少量的基向量被用于表示每个参数，从而实现更高的压缩率。此外，还可以对字典的大小进行调整，以平衡压缩率和图像质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在13个基准场景中，对3DGS、3DGS-MCMC和PixelGS分别实现了平均3.95倍、3.10倍和4.55倍的压缩率，同时渲染速度分别提升了23.3%、24.3%和25.3%，并且保持了图像质量。这些结果表明，该方法在压缩3DGS模型的同时，显著提升了渲染性能。

🎯 应用场景

该研究成果可广泛应用于移动设备、AR/VR设备等资源受限平台上的实时渲染应用。通过减小3DGS模型的体积，可以降低存储和传输成本，提高渲染效率，从而为用户提供更流畅、更逼真的沉浸式体验。此外，该方法还可以应用于三维重建、场景编辑等领域。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) is a promising neural scene representation for real-time rendering, but trained models often suffer from large memory footprints, limiting deployment on less powerful devices. Existing compression techniques often lead to architectures with several additional trainable parameters. While achieving outstanding compression ratios, they introduce noticeable drops in image quality. In this work, we introduce the first dictionary-learning-based compression framework for 3DGS. The proposed post-training compression pipeline can be deployed in virtually any 3DGS model without the need for re-training or modifications to existing 3DGS models. Our compression framework is straightforward to implement, yet provides significant compression capabilities, preserves image quality, and improves real-time rendering performance. Across 13 benchmark scenes, our approach achieves an average compression ratio of 3.95x, 3.10x, and 4.55x when applied to 3DGS, 3DGS-MCMC, and PixelGS, respectively. This yields consistent rendering speedups of 23.3%, 24.3%, and 25.3%, while maintaining image quality.