Feed-Forward 3D Gaussian Splatting Compression with Long-Context Modeling

📄 arXiv: 2512.00877v1 📥 PDF

作者: Zhening Liu, Rui Song, Yushi Huang, Yingdong Hu, Xinjie Zhang, Jiawei Shao, Zehong Lin, Jun Zhang

分类: cs.CV

发布日期: 2025-11-30

💡 一句话要点

提出基于长程上下文建模的前馈3D高斯溅射压缩方法，实现高压缩率。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 3D高斯溅射 压缩 长程上下文建模 自回归熵模型 注意力机制

📋 核心要点

  1. 现有前馈3DGS压缩方法难以建模长程空间依赖，限制了压缩性能和泛化能力。
  2. 构建大规模上下文结构，设计细粒度自回归熵模型和注意力变换编码模型，有效建模长程相关性。
  3. 实验表明，该方法在3DGS压缩中实现了20倍的压缩率，并在通用编解码器中达到SOTA性能。

📝 摘要（中文）

3D高斯溅射(3DGS)作为一种革命性的3D表示方法已经出现。然而，其庞大的数据量对广泛应用构成了主要障碍。虽然前馈3DGS压缩为昂贵的单场景单训练压缩器提供了一种实用的替代方案，但由于变换编码网络的有限感受野和熵模型中不足的上下文容量，现有方法难以建模长程空间依赖关系。本文提出了一种新颖的前馈3DGS压缩框架，该框架有效地建模了长程相关性，从而实现了高度紧凑和可泛化的3D表示。我们方法的中心是一个大规模的上下文结构，它包含数千个基于Morton序列化的Gaussian。然后，我们设计了一个细粒度的空间-通道自回归熵模型，以充分利用这种广泛的上下文。此外，我们开发了一种基于注意力的变换编码模型，通过聚合来自广泛邻域Gaussian的特征来提取信息丰富的潜在先验。我们的方法在正向推理中为3DGS产生了20倍的压缩率，并在通用编解码器中实现了最先进的性能。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)数据量巨大，阻碍了其广泛应用。现有的前馈压缩方法受限于感受野和上下文容量，无法有效建模高斯分布之间的长程空间依赖关系，导致压缩率不高，泛化能力不足。

核心思路：通过构建大规模上下文结构，并设计精细的自回归熵模型和注意力机制的变换编码模型，来充分利用高斯分布之间的长程相关性，从而提高压缩率和泛化能力。核心在于利用更大范围的上下文信息来指导压缩过程。

技术框架：该框架主要包含三个部分：1) 大规模上下文结构构建：使用Morton序列化方法组织数千个高斯分布，形成上下文结构。2) 细粒度空间-通道自回归熵模型：利用上下文结构，对高斯分布的各个参数进行自回归建模，提高熵编码效率。3) 基于注意力的变换编码模型：通过注意力机制聚合邻域高斯分布的特征，提取潜在先验信息，辅助压缩。

关键创新：1) 大规模上下文结构：突破了传统方法的感受野限制，能够建模更远距离的高斯分布之间的依赖关系。2) 细粒度空间-通道自回归熵模型：充分利用上下文信息，对高斯分布的各个参数进行精细建模，提高了熵编码的效率。3) 注意力机制的引入：使得模型能够自适应地选择重要的邻域高斯分布特征，提高了特征提取的效率和准确性。

关键设计：1) Morton序列化：用于构建大规模上下文结构，提高空间索引效率。2) 自回归熵模型：采用空间和通道两个维度进行自回归建模，充分利用上下文信息。3) 注意力机制：采用多头注意力机制，提高特征提取的鲁棒性。4) 损失函数：采用率失真优化(Rate-Distortion Optimization)损失函数，平衡压缩率和重建质量。

📊 实验亮点

该方法在3DGS压缩任务中取得了显著的性能提升，实现了20倍的压缩率，并在通用编解码器中达到了state-of-the-art的性能。相较于现有方法，该方法能够更好地建模长程空间依赖关系，从而提高了压缩效率和泛化能力。

🎯 应用场景

该研究成果可应用于三维场景的快速传输与存储，例如VR/AR、自动驾驶、机器人导航等领域。通过高效压缩3DGS数据，可以降低存储成本、减少传输带宽需求，并提升用户体验。未来，该技术有望推动3DGS在更多实际场景中的应用。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a revolutionary 3D representation. However, its substantial data size poses a major barrier to widespread adoption. While feed-forward 3DGS compression offers a practical alternative to costly per-scene per-train compressors, existing methods struggle to model long-range spatial dependencies, due to the limited receptive field of transform coding networks and the inadequate context capacity in entropy models. In this work, we propose a novel feed-forward 3DGS compression framework that effectively models long-range correlations to enable highly compact and generalizable 3D representations. Central to our approach is a large-scale context structure that comprises thousands of Gaussians based on Morton serialization. We then design a fine-grained space-channel auto-regressive entropy model to fully leverage this expansive context. Furthermore, we develop an attention-based transform coding model to extract informative latent priors by aggregating features from a wide range of neighboring Gaussians. Our method yields a $20\times$ compression ratio for 3DGS in a feed-forward inference and achieves state-of-the-art performance among generalizable codecs.