Sketch and Patch: Efficient 3D Gaussian Representation for Man-Made Scenes

📄 arXiv: 2501.13045v1 📥 PDF

作者: Yuang Shi, Simone Gasparini, Géraldine Morin, Chenggang Yang, Wei Tsang Ooi

分类: cs.CV, cs.MM

发布日期: 2025-01-22

DOI: 10.1145/3712677.3720466

💡 一句话要点

针对人工场景，提出基于草图和补丁的高效3D高斯表示方法，显著降低存储需求。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 场景表示 模型压缩 参数化建模 矢量量化

📋 核心要点

  1. 3D高斯溅射虽然渲染效果好，但存储需求高，限制了其在实际场景中的应用。
  2. 论文提出混合表示方法，将高斯函数分为草图高斯和补丁高斯，分别处理边缘和光滑区域。
  3. 实验表明，该方法在保持视觉质量的同时，显著降低了模型大小，提升了渲染指标。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为3D场景照片级渲染的一种有前景的表示方法。然而，其高存储需求对实际应用提出了重大挑战。我们观察到，高斯函数表现出不同的作用和特征，类似于传统的艺术技巧——就像艺术家先勾勒轮廓，然后再用颜色填充更广阔的区域一样，一些高斯函数捕捉高频特征，如边缘和轮廓；而另一些高斯函数则代表更广阔、更平滑的区域，类似于更宽的笔触，为绘画增加体积和深度。基于这一观察，我们提出了一种新的混合表示方法，将高斯函数分为(i)定义场景边界的草图高斯函数和(ii)覆盖平滑区域的补丁高斯函数。草图高斯函数利用其几何连贯性，使用参数模型进行有效编码，而补丁高斯函数则经过优化的剪枝、再训练和矢量量化，以保持体积一致性和存储效率。我们在各种室内和室外场景中的综合评估表明，这种结构感知方法在同等模型大小下，PSNR提高了32.62%，SSIM提高了19.12%，LPIPS提高了45.41%，相应地，对于室内场景，我们的模型以原始模型大小的2.3%保持了视觉质量。

🔬 方法详解

问题定义：3D高斯溅射（3DGS）虽然能实现高质量的渲染，但其存储需求非常高，这限制了它在资源受限设备或大规模场景中的应用。现有的方法通常侧重于优化高斯参数或进行模型压缩，但忽略了不同高斯函数在场景表示中的不同作用，导致压缩效率不高。

核心思路：论文的核心思想是，将3DGS中的高斯函数根据其在场景表示中的作用进行分类，并针对不同类型的高斯函数采用不同的压缩策略。类似于绘画中先勾勒轮廓再填充颜色，论文将高斯函数分为“草图高斯”（Sketch Gaussians）和“补丁高斯”（Patch Gaussians），分别对应场景的边缘和轮廓等高频信息以及平滑区域的低频信息。

技术框架：整体框架包含以下几个主要步骤：1) 高斯函数分类：根据高斯函数的几何属性（例如梯度大小）将其分为草图高斯和补丁高斯。2) 草图高斯编码：利用草图高斯的几何连贯性，使用参数模型（例如样条曲线）进行编码，从而实现高效压缩。3) 补丁高斯优化：对补丁高斯进行剪枝、再训练和矢量量化，以进一步降低存储需求，同时保持体积一致性。4) 渲染：使用压缩后的高斯函数进行场景渲染。

关键创新：该方法最重要的创新点在于，它首次将高斯函数根据其在场景表示中的作用进行分类，并针对不同类型的高斯函数采用不同的压缩策略。这种结构感知的压缩方法能够更有效地降低存储需求，同时保持渲染质量。与现有方法相比，该方法能够更好地平衡存储效率和渲染质量。

关键设计：在草图高斯编码方面，论文使用样条曲线来拟合草图高斯的中心点，从而实现参数化表示。在补丁高斯优化方面，论文采用了一种迭代的剪枝和再训练策略，以逐步降低高斯函数的数量，同时保持场景的体积一致性。此外，论文还使用了矢量量化技术来进一步压缩补丁高斯的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在保持视觉质量的同时，显著降低了3DGS模型的存储需求。在同等模型大小下，该方法在PSNR、SSIM和LPIPS指标上分别提升了32.62%、19.12%和45.41%。对于室内场景，该方法能够以原始模型大小的2.3%保持视觉质量，证明了其高效性和有效性。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发等领域，尤其是在移动设备或嵌入式系统等资源受限的环境中，能够实现高质量的3D场景渲染。此外，该方法还可以用于三维重建、场景编辑等应用，具有广泛的应用前景和实际价值。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a promising representation for photorealistic rendering of 3D scenes. However, its high storage requirements pose significant challenges for practical applications. We observe that Gaussians exhibit distinct roles and characteristics that are analogous to traditional artistic techniques -- Like how artists first sketch outlines before filling in broader areas with color, some Gaussians capture high-frequency features like edges and contours; While other Gaussians represent broader, smoother regions, that are analogous to broader brush strokes that add volume and depth to a painting. Based on this observation, we propose a novel hybrid representation that categorizes Gaussians into (i) Sketch Gaussians, which define scene boundaries, and (ii) Patch Gaussians, which cover smooth regions. Sketch Gaussians are efficiently encoded using parametric models, leveraging their geometric coherence, while Patch Gaussians undergo optimized pruning, retraining, and vector quantization to maintain volumetric consistency and storage efficiency. Our comprehensive evaluation across diverse indoor and outdoor scenes demonstrates that this structure-aware approach achieves up to 32.62% improvement in PSNR, 19.12% in SSIM, and 45.41% in LPIPS at equivalent model sizes, and correspondingly, for an indoor scene, our model maintains the visual quality with 2.3% of the original model size.