ContextGS: Compact 3D Gaussian Splatting with Anchor Level Context Model
作者: Yufei Wang, Zhihao Li, Lanqing Guo, Wenhan Yang, Alex C. Kot, Bihan Wen
分类: cs.CV, cs.AI
发布日期: 2024-05-31
💡 一句话要点
ContextGS：基于Anchor级上下文模型的紧凑型3D高斯溅射
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 神经渲染 模型压缩 上下文模型 自回归模型 超先验 视图合成
📋 核心要点
- 现有3DGS压缩方法忽略了高斯之间的交互和空间依赖性，导致压缩效率受限。
- ContextGS提出Anchor级自回归模型，利用粗糙级别已编码的Anchor预测未编码Anchor，实现更精确的建模。
- 实验表明，ContextGS在保证渲染质量的同时，实现了显著的压缩率提升，优于现有方法。
📝 摘要（中文）
3D高斯溅射(3DGS)作为一种新颖的视图合成框架，因其快速的渲染速度和高保真度而备受关注。然而，大量的Gaussians及其相关属性需要有效的压缩技术。现有方法主要独立地压缩神经Gaussians，忽略了它们之间的交互和空间依赖性。受图像压缩中上下文模型的启发，本文提出了首个用于3DGS压缩的Anchor级自回归模型。我们将anchors划分为不同的级别，未编码的anchors可以基于所有较粗级别中已编码的anchors进行预测，从而实现更精确的建模和更高的编码效率。为了进一步提高熵编码的效率，例如，在没有已编码anchors的情况下对最粗糙级别进行编码，我们为每个anchor引入了一个低维量化特征作为超先验，可以有效地压缩。我们的工作开创了Anchor级上下文模型在3DGS表示中的应用，与原始3DGS相比，实现了超过100倍的尺寸缩减，与最新的Scaffold-GS相比，实现了15倍的缩减，同时实现了相当甚至更高的渲染质量。
🔬 方法详解
问题定义：3D高斯溅射(3DGS)在神经渲染领域表现出色，但其存储需求较高，限制了其在资源受限环境中的应用。现有压缩方法主要独立压缩每个高斯，忽略了高斯之间的空间相关性，导致压缩效率不高。因此，如何有效利用高斯之间的上下文信息，实现更高的压缩率，是本文要解决的核心问题。
核心思路：本文借鉴图像压缩中上下文模型的思想，提出了一种Anchor级上下文模型。该模型将3DGS场景划分为不同层级的Anchor，利用已编码的粗糙层级Anchor信息来预测未编码的精细层级Anchor，从而捕捉高斯之间的空间依赖性。通过这种自回归的方式，可以更准确地建模高斯分布，提高压缩效率。
技术框架：ContextGS的整体框架包括以下几个主要阶段：1) Anchor划分：将3DGS场景划分为不同层级的Anchor。2) 上下文建模：构建Anchor级自回归模型，利用已编码的粗糙层级Anchor信息预测未编码的精细层级Anchor。3) 超先验编码：为最粗糙层级的Anchor引入低维量化特征作为超先验，辅助熵编码。4) 熵编码：使用算术编码等方法对Anchor的属性进行压缩。
关键创新：ContextGS的关键创新在于引入了Anchor级上下文模型，这是首次将上下文模型应用于3DGS压缩。与现有方法独立压缩每个高斯不同，ContextGS利用高斯之间的空间依赖性，实现了更高效的压缩。此外，超先验编码的引入进一步提高了熵编码的效率。
关键设计：Anchor的层级划分方式对压缩效率有重要影响，论文中可能采用了八叉树或其他空间划分方法。自回归模型的具体结构（例如，使用卷积神经网络或Transformer）以及超先验的维度和量化方式也是关键的设计细节。损失函数可能包括重建损失和正则化项，以保证渲染质量和模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
ContextGS在多个数据集上进行了实验，结果表明，与原始3DGS相比，ContextGS实现了超过100倍的尺寸缩减，与最新的Scaffold-GS相比，实现了15倍的缩减。更重要的是，ContextGS在实现显著压缩的同时，保持了与原始3DGS相当甚至更高的渲染质量。这些结果表明，ContextGS是一种高效且有效的3DGS压缩方法。
🎯 应用场景
ContextGS具有广泛的应用前景，包括移动设备上的3D场景渲染、虚拟现实/增强现实(VR/AR)应用、以及云游戏等。通过降低3DGS模型的存储需求，ContextGS可以使这些应用在资源受限的设备上运行，并提高用户体验。此外，ContextGS还可以用于3D场景的快速传输和存储，降低带宽和存储成本。
📄 摘要（原文）
Recently, 3D Gaussian Splatting (3DGS) has become a promising framework for novel view synthesis, offering fast rendering speeds and high fidelity. However, the large number of Gaussians and their associated attributes require effective compression techniques. Existing methods primarily compress neural Gaussians individually and independently, i.e., coding all the neural Gaussians at the same time, with little design for their interactions and spatial dependence. Inspired by the effectiveness of the context model in image compression, we propose the first autoregressive model at the anchor level for 3DGS compression in this work. We divide anchors into different levels and the anchors that are not coded yet can be predicted based on the already coded ones in all the coarser levels, leading to more accurate modeling and higher coding efficiency. To further improve the efficiency of entropy coding, e.g., to code the coarsest level with no already coded anchors, we propose to introduce a low-dimensional quantized feature as the hyperprior for each anchor, which can be effectively compressed. Our work pioneers the context model in the anchor level for 3DGS representation, yielding an impressive size reduction of over 100 times compared to vanilla 3DGS and 15 times compared to the most recent state-of-the-art work Scaffold-GS, while achieving comparable or even higher rendering quality.