TC-GS: Tri-plane based compression for 3D Gaussian Splatting

📄 arXiv: 2503.20221v1 📥 PDF

作者: Taorui Wang, Zitong Yu, Yong Xu

分类: cs.CV

发布日期: 2025-03-26

备注: Accepted by ICME 2025

🔗 代码/项目: GITHUB

💡 一句话要点

TC-GS：基于三平面编码的3D高斯 Splatting 压缩方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯Splatting 压缩 三平面编码 新视角合成 K近邻算法

📋 核心要点

  1. 3D高斯Splatting虽然渲染效果好，但数据量大，阻碍了实际应用，因此需要高效的压缩方法。
  2. 论文提出使用三平面来编码高斯属性，将非结构化数据转化为规范分布，便于压缩，并利用KNN挖掘高斯间的相关性。
  3. 实验结果表明，该方法在多个数据集上达到了与当前最优方法相当甚至更好的压缩性能。

📝 摘要（中文）

3D高斯Splatting (3DGS) 近来作为一种新颖的视图合成框架而崭露头角，它提供了高保真度和快速的渲染速度。然而，3DGS及其属性的大量数据阻碍了它的实际应用，需要压缩技术来降低内存成本。但是，3DGS的非结构化形状导致了压缩困难。为了将非结构化属性转化为规范分布，我们提出了一种结构良好的三平面来编码高斯属性，利用属性的分布进行压缩。为了利用相邻高斯之间的相关性，在从三平面解码高斯分布时使用了K近邻(KNN)。我们还引入了高斯位置信息作为位置敏感解码器的先验。此外，我们还引入了一种自适应小波损失，旨在随着迭代次数的增加而关注高频细节。在多个数据集上的大量实验表明，我们的方法取得了与SOTA 3D高斯Splatting压缩工作相当或超过的结果。

🔬 方法详解

问题定义：3D高斯Splatting (3DGS) 虽然在高质量新视角合成方面表现出色，但其存储需求巨大，限制了其在资源受限环境中的应用。现有的压缩方法难以有效处理3DGS中高斯分布的非结构化特性，导致压缩效率不高或质量损失。

核心思路：论文的核心思路是将非结构化的3D高斯属性映射到结构化的三平面表示上。通过这种方式，可以利用图像压缩领域的成熟技术来压缩高斯属性。此外，利用相邻高斯之间的相关性，在解码时使用K近邻算法来提升重建质量。同时，将高斯位置信息作为先验知识，指导解码过程。

技术框架：TC-GS的整体框架包括以下几个主要阶段：1) 三平面编码：将3D高斯属性投影到三个正交的平面上，形成三平面特征表示。2) 压缩编码：使用图像压缩算法（例如JPEG）对三平面特征进行压缩。3) KNN解码：在解码阶段，利用K近邻算法，根据相邻高斯的信息来优化当前高斯的属性重建。4) 位置敏感解码：结合高斯位置信息作为先验，进一步提升解码精度。

关键创新：该方法最重要的创新点在于将非结构化的3D高斯属性转换为结构化的三平面表示。这种转换使得可以利用现有的图像压缩技术来高效地压缩3DGS数据。此外，结合KNN和位置信息进行解码，进一步提升了压缩性能。

关键设计：论文中一个关键的设计是自适应小波损失函数。该损失函数旨在随着训练迭代次数的增加，逐渐关注高频细节的重建，从而提升最终的渲染质量。具体来说，小波损失的权重会随着迭代次数的增加而增大，从而迫使网络更好地重建高频信息。此外，K近邻算法中K值的选择也会影响最终的压缩性能，需要在实验中进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TC-GS在多个数据集上实现了与SOTA方法相当甚至更好的压缩性能。具体而言，在保持相似渲染质量的前提下，TC-GS能够显著降低3DGS模型的大小。例如，在某些场景下，TC-GS的压缩率优于现有方法，同时PSNR等指标也具有竞争力。开源代码的发布也方便了其他研究者进行复现和改进。

🎯 应用场景

该研究成果可广泛应用于需要存储和传输3D场景数据的领域，例如虚拟现实、增强现实、自动驾驶、游戏开发等。通过高效压缩3D高斯Splatting数据，可以降低存储成本、减少网络带宽需求，从而提升用户体验和系统性能。未来，该技术有望推动3D内容在移动设备和云平台上的普及。

📄 摘要（原文）

Recently, 3D Gaussian Splatting (3DGS) has emerged as a prominent framework for novel view synthesis, providing high fidelity and rapid rendering speed. However, the substantial data volume of 3DGS and its attributes impede its practical utility, requiring compression techniques for reducing memory cost. Nevertheless, the unorganized shape of 3DGS leads to difficulties in compression. To formulate unstructured attributes into normative distribution, we propose a well-structured tri-plane to encode Gaussian attributes, leveraging the distribution of attributes for compression. To exploit the correlations among adjacent Gaussians, K-Nearest Neighbors (KNN) is used when decoding Gaussian distribution from the Tri-plane. We also introduce Gaussian position information as a prior of the position-sensitive decoder. Additionally, we incorporate an adaptive wavelet loss, aiming to focus on the high-frequency details as iterations increase. Our approach has achieved results that are comparable to or surpass that of SOTA 3D Gaussians Splatting compression work in extensive experiments across multiple datasets. The codes are released at https://github.com/timwang2001/TC-GS.