Matryoshka Gaussian Splatting

📄 arXiv: 2603.19234v1 📥 PDF

作者: Zhilin Guo, Boqiao Zhang, Hakan Aktas, Kyle Fogarty, Jeffrey Hu, Nursena Koprucu Aslan, Wenzhao Li, Canberk Baykal, Albert Miao, Josef Bengtson, Chenliang Zhou, Weihao Xia, Cristina Nader Vasconcelos. Cengiz Oztireli

分类: cs.CV, cs.GR

发布日期: 2026-03-19

备注: project page: https://zhilinguo.github.io/MGS

💡 一句话要点

提出Matryoshka Gaussian Splatting，实现3DGS的连续LoD，且不牺牲全容量渲染质量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 细节层次 连续LoD 渲染优化 随机预算训练

📋 核心要点

  1. 现有的离散LoD方法操作点有限，连续LoD方法在全容量下质量下降明显，LoD成为昂贵的设计决策。
  2. MGS通过随机预算训练，优化高斯集合的前缀和完整集合，实现连续LoD，且不牺牲全容量渲染质量。
  3. 实验表明，MGS在匹配全容量性能的同时，实现了连续的速度-质量权衡，并通过消融实验验证了设计。

📝 摘要（中文）

本文提出Matryoshka Gaussian Splatting (MGS)，一个训练框架，旨在为标准3D高斯溅射(3DGS)管线实现连续的细节层次(LoD)，且不牺牲全容量渲染质量。MGS学习一个单一的、有序的高斯集合，使得渲染任何前缀（前k个splat）都能产生连贯的重建，其保真度随着预算的增加而平滑地提高。核心思想是随机预算训练：每次迭代采样一个随机的splat预算，并优化相应的前缀和完整集合。该策略仅需两次前向传播，且无需修改架构。在四个基准测试和六个基线上的实验表明，MGS在匹配其骨干网络的全容量性能的同时，能够从单个模型实现连续的速度-质量权衡。对排序策略、训练目标和模型容量的广泛消融实验进一步验证了该设计。

🔬 方法详解

问题定义：现有的3D高斯溅射(3DGS)的细节层次(LoD)方法存在局限性。离散LoD方法只能提供有限数量的预设质量等级，而连续LoD方法虽然可以实现更平滑的质量调整，但在全容量渲染时往往会牺牲渲染质量。因此，如何在不损失全容量渲染质量的前提下，实现3DGS的连续LoD是一个关键问题。

核心思路：MGS的核心思路是学习一个单一的、有序的高斯集合，使得渲染该集合的任何前缀（即前k个高斯）都能产生一个连贯的场景重建，并且重建的质量随着k的增加而平滑提升。通过这种方式，可以通过控制渲染的高斯数量来实现连续的LoD调整。

技术框架：MGS的训练框架基于标准的3DGS管线，无需修改现有的架构。其主要流程包括：1) 初始化一个高斯集合；2) 在每次迭代中，随机采样一个splat预算（即高斯数量k）；3) 使用前k个高斯渲染场景，并计算损失；4) 使用完整的高斯集合渲染场景，并计算损失；5) 根据两个损失函数优化高斯集合的参数。

关键创新：MGS的关键创新在于随机预算训练策略。通过在每次迭代中随机采样不同的splat预算，MGS能够同时优化高斯集合的前缀和完整集合，从而保证在任何LoD下都能获得较好的渲染质量，并且不会牺牲全容量渲染质量。

关键设计：MGS的关键设计包括：1) 高斯排序策略：选择合适的排序策略，使得前缀高斯能够逐步提升渲染质量；2) 损失函数设计：设计合适的损失函数，平衡前缀渲染质量和全容量渲染质量；3) 模型容量选择：选择合适的模型容量，以保证能够学习到足够表达场景信息的高斯集合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MGS在四个基准测试上均能匹配其骨干网络的全容量性能，同时实现了连续的速度-质量权衡。与现有的LoD方法相比，MGS能够在相同的渲染预算下提供更高的渲染质量，或者在相同的渲染质量下降低渲染预算。消融实验进一步验证了MGS的各个设计选择的有效性。

🎯 应用场景

MGS可应用于需要灵活调整渲染质量的场景，如移动设备上的3D场景渲染、实时游戏、虚拟现实和增强现实应用。通过MGS，可以根据设备的计算能力和网络带宽动态调整渲染质量，从而提供更好的用户体验。此外，MGS还可以用于3D场景的渐进式加载，从而减少初始加载时间。

📄 摘要（原文）

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.