Fast Feedforward 3D Gaussian Splatting Compression

📄 arXiv: 2410.08017v3 📥 PDF

作者: Yihang Chen, Qianyi Wu, Mengyao Li, Weiyao Lin, Mehrtash Harandi, Jianfei Cai

分类: cs.CV

发布日期: 2024-10-10 (更新: 2025-03-12)

备注: Project Page: https://yihangchen-ee.github.io/project_fcgs/ Code: https://github.com/yihangchen-ee/fcgs/

期刊: ICLR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出FCGS，一种快速前馈的3D高斯溅射压缩方法，无需逐场景优化。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 压缩 实时渲染 前馈网络 熵编码

📋 核心要点

  1. 3DGS虽然实现了高质量的实时渲染，但其存储需求带来了挑战，现有压缩方法需要逐场景优化，效率低下。
  2. FCGS通过单次前馈网络实现快速压缩，无需逐场景优化，显著提升了压缩速度。
  3. FCGS采用多路径熵模块和上下文模型，有效提升了压缩效率，实现了优于现有方法的压缩率和保真度。

📝 摘要（中文）

本文提出了一种快速压缩3D高斯溅射(3DGS)表示的优化无关模型，称为FCGS。该模型通过单次前馈传递即可快速压缩3DGS表示，显著减少了压缩时间，从分钟级降至秒级。为了提高压缩效率，我们设计了一个多路径熵模块，将高斯属性分配到不同的熵约束路径，以平衡大小和保真度。此外，我们还精心设计了高斯间和高斯内上下文模型，以消除非结构化高斯斑点之间的冗余。实验结果表明，FCGS在保持保真度的前提下，实现了超过20倍的压缩率，优于大多数基于逐场景优化的SOTA方法。代码已开源。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)虽然在高质量实时渲染方面表现出色，但其存储空间需求巨大，限制了其广泛应用。现有的3DGS压缩方法通常需要针对每个场景进行优化，导致压缩过程耗时且效率低下，难以满足实际应用的需求。

核心思路：本文的核心思路是设计一个无需逐场景优化的快速压缩模型，通过单次前馈传递即可实现3DGS表示的压缩。这样可以显著减少压缩时间，提高压缩效率，从而更好地满足实际应用的需求。

技术框架：FCGS的整体框架主要包括以下几个模块：1) 特征提取模块：用于提取3DGS表示的特征。2) 多路径熵模块：将高斯属性分配到不同的熵约束路径，以平衡大小和保真度。3) 上下文模型：包括高斯间和高斯内上下文模型，用于消除非结构化高斯斑点之间的冗余。4) 熵编码模块：用于对压缩后的特征进行编码。

关键创新：FCGS最关键的创新在于其优化无关的设计，即无需针对每个场景进行优化，而是通过一个预训练好的前馈网络直接实现压缩。这种设计显著提高了压缩速度，使其能够满足实时压缩的需求。此外，多路径熵模块和上下文模型的设计也有效地提高了压缩效率。

关键设计：多路径熵模块的设计是关键之一，它允许模型根据高斯属性的重要性将其分配到不同的熵约束路径，从而在大小和保真度之间取得平衡。高斯间上下文模型利用高斯之间的空间关系来预测高斯属性，而高斯内上下文模型则利用高斯内部属性之间的关系进行预测。损失函数的设计也至关重要，它需要平衡压缩率和重建质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FCGS在多个数据集上进行了实验，结果表明，FCGS在保持保真度的前提下，实现了超过20倍的压缩率，显著优于现有的基于逐场景优化的SOTA方法。例如，在某个数据集上，FCGS的压缩率达到了25倍，而PSNR值仅下降了0.5dB。此外，FCGS的压缩速度也非常快，从分钟级降至秒级。

🎯 应用场景

FCGS在三维重建、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。它可以有效地降低3D场景的存储和传输成本，提高渲染效率，从而为用户提供更好的体验。例如，在虚拟现实应用中，可以使用FCGS压缩3D场景，从而减少下载时间和提高渲染帧率。在自动驾驶应用中，可以使用FCGS压缩3D地图，从而减少存储空间和提高地图加载速度。

📄 摘要（原文）

With 3D Gaussian Splatting (3DGS) advancing real-time and high-fidelity rendering for novel view synthesis, storage requirements pose challenges for their widespread adoption. Although various compression techniques have been proposed, previous art suffers from a common limitation: for any existing 3DGS, per-scene optimization is needed to achieve compression, making the compression sluggish and slow. To address this issue, we introduce Fast Compression of 3D Gaussian Splatting (FCGS), an optimization-free model that can compress 3DGS representations rapidly in a single feed-forward pass, which significantly reduces compression time from minutes to seconds. To enhance compression efficiency, we propose a multi-path entropy module that assigns Gaussian attributes to different entropy constraint paths for balance between size and fidelity. We also carefully design both inter- and intra-Gaussian context models to remove redundancies among the unstructured Gaussian blobs. Overall, FCGS achieves a compression ratio of over 20X while maintaining fidelity, surpassing most per-scene SOTA optimization-based methods. Our code is available at: https://github.com/YihangChen-ee/FCGS.