Only What Was Seen: Observation-Gram Compaction of View-Dependent Appearance in 3D Gaussian Splatting
作者: Krzysztof Pietroszek
分类: cs.CV
发布日期: 2026-09-24
备注: 22 pages, 6 figures
💡 一句话要点
提出观察Gram矩阵压缩方法以优化3D高斯点云表现
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯点云 图像重建 压缩算法 失真度量 计算机图形学
📋 核心要点
- 现有3D高斯点云模型在存储和表现上存在效率低下的问题，尤其是对视角的依赖性导致了信息浪费。
- 论文提出了一种新的观察Gram矩阵压缩方法，通过精确映射系数变化与图像误差，优化了高斯点云的表现。
- 实验结果显示，使用新度量的Compressed3D在PSNR上提升了0.49 dB，并且在相同质量下比现有方法更小。
📝 摘要（中文）
大多数3D高斯点云模型的内存主要用于存储球谐颜色系数，但每个高斯点仅从训练相机的狭窄视角中被观察。本文将此转化为一个失真度量，提出了一种基于每个高斯点的观察Gram矩阵，该矩阵从视角和混合权重中累积而来，能够精确映射系数变化与图像误差之间的关系。通过将该度量应用于Compressed3D，PSNR提升了0.49 dB，且在匹配速率下仍提升0.32 dB，且无需任何训练图像。基于该度量的无训练堆栈在相同质量下比无图像的GSICO小15%。
🔬 方法详解
问题定义：本文旨在解决3D高斯点云模型中存储效率低下和视角依赖性的问题。现有方法在处理高斯点的颜色系数时，未能有效利用视角信息，导致图像重建误差增大。
核心思路：论文提出通过构建每个高斯点的观察Gram矩阵，将视角和混合权重结合，形成一个失真度量，从而实现更高效的压缩和重建。该方法能够精确映射系数变化与图像误差之间的关系。
技术框架：整体架构包括三个主要模块：观察Gram矩阵的构建、基于该矩阵的压缩算法和图像重建。首先，从训练相机的视角中累积数据，形成Gram矩阵；然后，利用该矩阵进行压缩和重建。
关键创新：最重要的技术创新在于提出了观察Gram矩阵作为失真度量，这一方法不仅简化了压缩过程，还提高了重建质量，与传统方法相比具有显著优势。
关键设计：在参数设置上，采用了拉格朗日率失真问题来优化度数分配，使用矩阵加权的Lloyd算法进行向量量化，确保了压缩效率和重建质量的平衡。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用新提出的观察Gram矩阵度量的Compressed3D在PSNR上提升了0.49 dB，且在相同速率下仍提升0.32 dB，显示出显著的性能改进。此外，基于该度量的无训练堆栈在相同质量下比现有方法小15%。
🎯 应用场景
该研究的潜在应用领域包括计算机图形学、虚拟现实和增强现实等场景，能够有效提升3D模型的存储和渲染效率。未来，该方法可能推动更高效的3D内容创建和实时渲染技术的发展，具有重要的实际价值。
📄 摘要（原文）
Most of the memory of a 3D Gaussian Splatting model holds spherical-harmonic colour coefficients, yet each Gaussian is seen only from the narrow cone of directions of the training cameras. We turn this into a distortion metric that other compressors can adopt: a per-Gaussian observation Gram matrix, accumulated from viewing directions and blending weights, is the exact first-order map from coefficient changes to squared image error and needs only the model and the camera poses. Under it, degree reduction becomes a closed-form projection that generalises truncation, degree allocation a Lagrangian rate-distortion problem, and vector quantisation the matrix-weighted Lloyd algorithm, of which Compressed3D's quantiser is the scalar case. Swapped into Compressed3D with everything else unchanged, the metric raises PSNR by +0.49 dB before fine-tuning, with SSIM and LPIPS following, and at matched rate still gains +0.32 dB without a single training image. A training-free stack built on the metric alone is 15% smaller than the image-free GSICO at equal quality on Mip-NeRF 360.