A Benchmark for Gaussian Splatting Compression and Quality Assessment Study

📄 arXiv: 2407.14197v1 📥 PDF

作者: Qi Yang, Kaifa Yang, Yuke Xing, Yiling Xu, Zhu Li

分类: cs.CV

发布日期: 2024-07-19

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于图的GS压缩方法GGSC，并构建GS质量评估数据集GSQA。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 图信号处理 数据压缩 质量评估 主观实验

📋 核心要点

  1. 现有GS压缩方法的缺失导致难以有效压缩和评估GS数据，阻碍了GS技术的发展。
  2. GGSC利用图信号处理，通过图傅里叶变换裁剪高频信息并量化，实现GS数据的有效压缩。
  3. 构建GSQA数据集，通过主观实验分析不同GS失真对视觉质量的影响，为GS压缩提供指导。

📝 摘要（中文）

为了填补传统高斯溅射（GS）压缩方法的空白，本文首先提出了一种简单有效的高斯溅射数据压缩基准方法，称为基于图的GS压缩（GGSC）。GGSC的灵感来源于图信号处理理论，并使用两个分支来压缩图元中心和属性。我们通过KDTree分割整个GS样本，并在图傅里叶变换后裁剪高频分量。随后，使用量化、G-PCC和自适应算术编码来压缩图元中心和属性残差矩阵，以生成码率文件。GGSC是第一个探索传统GS压缩的工作，其优势在于可以揭示与典型压缩操作（如高频裁剪和量化）相对应GS失真特征。其次，基于GGSC，我们创建了一个包含120个样本的GS质量评估数据集（GSQA）。在实验室环境中进行了一项主观实验，以收集将GS渲染成处理后的视频序列（PVS）后的主观评分。我们基于平均意见得分（MOS）分析了不同GS失真的特征，证明了不同属性失真对视觉质量的敏感性。GGSC代码和数据集，包括GS样本、MOS和PVS，已在https://github.com/Qi-Yangsjtu/GGSC上公开发布。

🔬 方法详解

问题定义：论文旨在解决高斯溅射（GS）数据的压缩问题，并建立相应的质量评估体系。现有的GS数据缺乏有效的压缩方法，导致存储和传输成本高昂。同时，缺乏标准化的质量评估数据集，难以衡量不同压缩算法的性能和视觉效果。

核心思路：论文的核心思路是利用图信号处理的理论，将GS数据视为图信号，通过图傅里叶变换将数据转换到频域，然后裁剪高频分量进行压缩。这种方法能够有效地去除冗余信息，同时保留重要的视觉特征。此外，通过构建GSQA数据集，并进行主观实验，可以量化不同压缩操作对视觉质量的影响。

技术框架：GGSC的整体框架包括以下几个主要步骤：1) 使用KDTree将GS样本分割成多个区域。2) 对每个区域构建图结构，并将GS属性视为图信号。3) 对图信号进行图傅里叶变换，得到频域表示。4) 裁剪高频分量，保留低频信息。5) 对剩余的低频分量进行量化。6) 使用G-PCC和自适应算术编码对量化后的数据进行压缩。GSQA数据集的构建包括：1) 选择不同的GS样本。2) 使用GGSC对GS样本进行不同程度的压缩。3) 将压缩后的GS样本渲染成视频序列（PVS）。4) 进行主观实验，收集用户对PVS的评分（MOS）。

关键创新：GGSC的关键创新在于将图信号处理理论应用于GS数据压缩。通过图傅里叶变换，可以有效地去除GS数据中的高频冗余信息，从而实现高效压缩。此外，GSQA数据集的构建为GS压缩算法的评估提供了一个标准化的平台。

关键设计：在GGSC中，KDTree的分割粒度、高频分量的裁剪阈值、量化步长等参数都会影响压缩性能和视觉质量。论文可能采用了自适应的参数调整策略，以在码率和质量之间取得平衡。此外，G-PCC和自适应算术编码的选择也是关键设计，它们能够有效地压缩量化后的数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了GGSC，一种基于图信号处理的GS压缩方法，并通过实验验证了其有效性。同时，构建了包含120个样本的GSQA数据集，并进行了主观实验，分析了不同GS失真对视觉质量的影响。实验结果表明，某些属性的失真对视觉质量的影响更为敏感，为GS压缩算法的设计提供了指导。

🎯 应用场景

该研究成果可应用于三维场景的存储、传输和渲染等领域。例如，在虚拟现实、增强现实、游戏开发等应用中，可以使用GGSC对高斯溅射数据进行压缩，从而降低存储空间和网络带宽的需求，提高渲染效率。GSQA数据集可以用于评估和比较不同的GS压缩算法，推动GS压缩技术的发展。

📄 摘要（原文）

To fill the gap of traditional GS compression method, in this paper, we first propose a simple and effective GS data compression anchor called Graph-based GS Compression (GGSC). GGSC is inspired by graph signal processing theory and uses two branches to compress the primitive center and attributes. We split the whole GS sample via KDTree and clip the high-frequency components after the graph Fourier transform. Followed by quantization, G-PCC and adaptive arithmetic coding are used to compress the primitive center and attribute residual matrix to generate the bitrate file. GGSS is the first work to explore traditional GS compression, with advantages that can reveal the GS distortion characteristics corresponding to typical compression operation, such as high-frequency clipping and quantization. Second, based on GGSC, we create a GS Quality Assessment dataset (GSQA) with 120 samples. A subjective experiment is conducted in a laboratory environment to collect subjective scores after rendering GS into Processed Video Sequences (PVS). We analyze the characteristics of different GS distortions based on Mean Opinion Scores (MOS), demonstrating the sensitivity of different attributes distortion to visual quality. The GGSC code and the dataset, including GS samples, MOS, and PVS, are made publicly available at https://github.com/Qi-Yangsjtu/GGSC.