MEGS$^{2}$: Memory-Efficient Gaussian Splatting via Spherical Gaussians and Unified Pruning

📄 arXiv: 2509.07021v2 📥 PDF

作者: Jiarui Chen, Yikeng Chen, Yingshuang Zou, Ye Huang, Peng Wang, Yuan Liu, Yujing Sun, Wenping Wang

分类: cs.CV, cs.AI

发布日期: 2025-09-07 (更新: 2025-09-23)

备注: 20 pages, 8 figures. Project page at https://megs-2.github.io/

💡 一句话要点

MEGS$^{2}$: 通过球谐高斯和统一剪枝实现内存高效的高斯溅射

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 新视角合成 内存压缩 球谐高斯 统一剪枝 边缘计算 渲染优化

📋 核心要点

  1. 现有3DGS方法内存消耗大，限制了其在边缘设备上的应用，尤其是在渲染阶段。
  2. MEGS$^{2}$通过联合优化图元数量和每个图元的参数，实现了更高效的内存压缩。
  3. 实验结果表明，MEGS$^{2}$在保持渲染质量的同时，显著降低了静态和渲染VRAM的使用。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为一种主流的新视角合成技术，但其高内存消耗严重限制了其在边缘设备上的应用。越来越多的3DGS压缩方法被提出，以提高3DGS的效率，但大多数方法只关注存储压缩，而忽略了渲染内存的关键瓶颈。为了解决这个问题，我们提出了MEGS$^{2}$，这是一个新颖的内存高效框架，通过联合优化两个关键因素来应对这一挑战：总的图元数量和每个图元的参数，从而实现前所未有的内存压缩。具体来说，我们用轻量级的、任意方向的球谐高斯瓣作为颜色表示，取代了内存密集型的球谐函数。更重要的是，我们提出了一个统一的软剪枝框架，将图元数量和瓣数量的剪枝建模为一个单一的约束优化问题。实验表明，与现有方法相比，MEGS$^{2}$实现了50%的静态VRAM减少和40%的渲染VRAM减少，同时保持了相当的渲染质量。

🔬 方法详解

问题定义：现有3D高斯溅射方法在边缘设备上应用受限，主要原因是其高内存占用，尤其是在渲染过程中。现有的压缩方法主要关注存储压缩，而忽略了渲染内存的瓶颈。因此，需要一种能够同时减少存储和渲染内存占用的方法。

核心思路：MEGS$^{2}$的核心思路是通过联合优化图元数量和每个图元的参数，实现更高效的内存压缩。具体来说，使用更轻量级的球谐高斯瓣代替传统的球谐函数进行颜色表示，并采用统一的软剪枝框架来减少图元和瓣的数量。

技术框架：MEGS$^{2}$框架主要包含两个关键模块：1) 使用球谐高斯瓣进行颜色表示，降低单个图元的内存占用；2) 采用统一的软剪枝框架，同时优化图元数量和瓣数量。该框架将图元数量和瓣数量的剪枝建模为一个单一的约束优化问题，从而实现更有效的内存压缩。

关键创新：MEGS$^{2}$的关键创新在于：1) 使用球谐高斯瓣代替球谐函数，显著降低了单个图元的内存占用；2) 提出了统一的软剪枝框架，能够同时优化图元数量和瓣数量，从而实现更有效的内存压缩。与现有方法相比，MEGS$^{2}$能够更有效地降低渲染内存的占用。

关键设计：MEGS$^{2}$的关键设计包括：1) 球谐高斯瓣的参数化方式，需要平衡表达能力和内存占用；2) 统一软剪枝框架的约束条件和优化算法，需要保证剪枝过程的稳定性和收敛性；3) 损失函数的设计，需要在保证渲染质量的同时，鼓励图元和瓣的稀疏性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MEGS$^{2}$在实验中表现出色，与现有方法相比，实现了50%的静态VRAM减少和40%的渲染VRAM减少，同时保持了相当的渲染质量。这些结果表明，MEGS$^{2}$是一种有效的内存压缩方法，能够显著降低3DGS的内存占用。

🎯 应用场景

MEGS$^{2}$在边缘设备上的新视角合成、移动AR/VR、以及资源受限的机器人应用中具有广泛的应用前景。通过降低内存占用，该方法使得高质量的3D重建和渲染能够在计算能力有限的设备上实现，从而推动相关技术的发展和普及。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a dominant novel-view synthesis technique, but its high memory consumption severely limits its applicability on edge devices. A growing number of 3DGS compression methods have been proposed to make 3DGS more efficient, yet most only focus on storage compression and fail to address the critical bottleneck of rendering memory. To address this problem, we introduce MEGS$^{2}$, a novel memory-efficient framework that tackles this challenge by jointly optimizing two key factors: the total primitive number and the parameters per primitive, achieving unprecedented memory compression. Specifically, we replace the memory-intensive spherical harmonics with lightweight, arbitrarily oriented spherical Gaussian lobes as our color representations. More importantly, we propose a unified soft pruning framework that models primitive-number and lobe-number pruning as a single constrained optimization problem. Experiments show that MEGS$^{2}$ achieves a 50% static VRAM reduction and a 40% rendering VRAM reduction compared to existing methods, while maintaining comparable rendering quality. Project page: https://megs-2.github.io/