Matryoshka Gaussian Splatting

📄 arXiv: 2603.19234v2 📥 PDF

作者: Zhilin Guo, Boqiao Zhang, Hakan Aktas, Kyle Fogarty, Jeffrey Hu, Nursena Koprucu Aslan, Wenzhao Li, Canberk Baykal, Albert Miao, Josef Bengtson, Chenliang Zhou, Weihao Xia, Cristina Nader Vasconcelos, Cengiz Oztireli

分类: cs.CV, cs.GR

发布日期: 2026-03-19 (更新: 2026-03-20)

备注: project page: https://zhilinguo.github.io/MGS

💡 一句话要点

提出Matryoshka Gaussian Splatting，实现3DGS的连续细节层次调整且不损失全容量性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 细节层次 连续LoD 随机预算训练 实时渲染

📋 核心要点

  1. 现有3DGS的离散LoD方法操作点有限，连续LoD方法虽平滑缩放但全容量下质量下降明显。
  2. MGS通过随机预算训练，优化高斯集合的有序前缀，实现连续LoD且保持全容量渲染质量。
  3. 实验表明，MGS在多个基准测试中，匹配了骨干网络的全容量性能，实现了速度-质量权衡。

📝 摘要（中文）

本文提出Matryoshka Gaussian Splatting (MGS)，一个为标准3D高斯溅射(3DGS)管线实现连续细节层次(LoD)的训练框架，且不牺牲全容量渲染质量。MGS学习一个单一的、有序的高斯集合，使得渲染任何前缀（前k个splat）都能产生连贯的重建，其保真度随着预算的增加而平滑提升。核心思想是随机预算训练：每次迭代采样一个随机splat预算，并优化相应的前缀和完整集合。该策略仅需两次前向传播，且无需修改架构。在四个基准测试和六个基线上的实验表明，MGS在匹配其骨干网络的全容量性能的同时，能够从单个模型实现连续的速度-质量权衡。对排序策略、训练目标和模型容量的广泛消融实验进一步验证了设计。

🔬 方法详解

问题定义：现有的3D高斯溅射（3DGS）方法在实现细节层次（LoD）调整时存在局限性。离散LoD方法只能提供有限数量的预定义质量级别，而连续LoD方法虽然可以实现更平滑的质量调整，但通常会在全容量渲染时牺牲渲染质量。因此，如何在不损失全容量渲染质量的前提下，实现3DGS的连续LoD调整是一个关键问题。

核心思路：MGS的核心思路是学习一个单一的、有序的高斯集合。通过对高斯集合进行排序，使得渲染该集合的任意前缀（即前k个高斯）都能产生一个连贯的场景重建，并且重建的质量随着k的增加而平滑提升。这种方法允许在速度和质量之间进行连续的权衡，而无需训练多个模型或牺牲全容量渲染质量。

技术框架：MGS的训练框架基于标准的3DGS管线，无需修改现有的架构。其主要流程包括：1) 初始化一个高斯集合；2) 对高斯集合进行排序（例如，基于不透明度或梯度）；3) 在每次迭代中，随机采样一个splat预算（即前缀长度k）；4) 使用采样的预算渲染场景，并计算损失；5) 使用反向传播更新高斯集合的参数。该过程需要两次前向传播：一次用于渲染前缀，一次用于渲染完整集合。

关键创新：MGS的关键创新在于引入了随机预算训练策略。通过在每次迭代中随机采样不同的splat预算，MGS能够有效地训练高斯集合，使其在不同的细节层次上都能产生高质量的渲染结果。这种方法避免了对特定细节层次的过度优化，从而保证了全容量渲染的质量。

关键设计：MGS的关键设计包括：1) 高斯集合的排序策略：论文研究了多种排序策略，例如基于不透明度、梯度或重要性的排序。2) 损失函数：论文使用了标准的3DGS损失函数，例如L1损失和D-SSIM损失。3) 模型容量：论文研究了不同模型容量对性能的影响，发现适当的模型容量可以提高渲染质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MGS在四个基准测试（包括Synthetic-NeRF、BlendedMVS等）和六个基线方法上，能够匹配其骨干网络的全容量性能，同时实现连续的速度-质量权衡。例如，在某些场景下，MGS可以在保持较高渲染质量的同时，将渲染速度提高2-3倍。消融实验验证了排序策略、训练目标和模型容量对性能的影响。

🎯 应用场景

MGS可应用于各种需要实时渲染和可调细节层次的场景，例如虚拟现实、增强现实、游戏开发和三维地图等。通过MGS，用户可以根据设备性能和网络带宽动态调整渲染质量，从而获得最佳的用户体验。此外，MGS还可以用于三维场景的压缩和传输，通过只传输最重要的splat，可以显著减少数据量。

📄 摘要（原文）

The ability to render scenes at adjustable fidelity from a single model, known as level of detail (LoD), is crucial for practical deployment of 3D Gaussian Splatting (3DGS). Existing discrete LoD methods expose only a limited set of operating points, while concurrent continuous LoD approaches enable smoother scaling but often suffer noticeable quality degradation at full capacity, making LoD a costly design decision. We introduce Matryoshka Gaussian Splatting (MGS), a training framework that enables continuous LoD for standard 3DGS pipelines without sacrificing full-capacity rendering quality. MGS learns a single ordered set of Gaussians such that rendering any prefix, the first k splats, produces a coherent reconstruction whose fidelity improves smoothly with increasing budget. Our key idea is stochastic budget training: each iteration samples a random splat budget and optimises both the corresponding prefix and the full set. This strategy requires only two forward passes and introduces no architectural modifications. Experiments across four benchmarks and six baselines show that MGS matches the full-capacity performance of its backbone while enabling a continuous speed-quality trade-off from a single model. Extensive ablations on ordering strategies, training objectives, and model capacity further validate the designs.