Budgeted-GS: Real-Time Large-Scale Gaussian Splatting via Factoring LOD
作者: Haipeng Wang
分类: cs.GR, cs.CV
发布日期: 2026-10-02
备注: 28 pages, 21 figures. Preprint of the EG 2027 submission (paper1075)
💡 一句话要点
提出Budgeted-GS以解决大规模高质量3D渲染问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯点云 实时渲染 内存管理 城市建模 虚拟现实 机器学习 优化算法
📋 核心要点
- 现有的3D高斯点云渲染方法在城市规模的应用中面临内存和实时渲染质量的挑战。
- 提出Budgeted-GS方法，通过构建多分辨率聚合层次结构，动态选择适合目标设备内存的细节层次。
- 在13个公共场景的实验中，验证了方法的有效性，并实现了在消费级GPU上以1920x1080分辨率的实时渲染。
📝 摘要（中文）
3D高斯点云渲染技术在实时渲染方面表现出色，但在城市规模的应用中面临挑战：训练模型包含数百万个原始元素，占用大量内存，且在消费级GPU上实现高质量实时渲染仍然困难。本文提出Budgeted-GS，一种后处理方法，将任何训练好的3DGS模型转化为一个多分辨率的聚合层次结构，允许根据目标设备的内存选择适当的细节层次。该方法在训练新场景时，首先测量所需的原始元素数量，从而避免了后期优化冗余元素的浪费。通过在13个公共场景下的验证，展示了该方法在1920x1080分辨率下的实时渲染能力。
🔬 方法详解
问题定义：本文旨在解决大规模3D高斯点云渲染在内存和实时性方面的不足，现有方法在处理城市规模模型时，无法满足高质量实时渲染的需求。
核心思路：Budgeted-GS通过将训练好的3DGS模型转化为多分辨率的聚合层次结构，允许根据设备内存动态选择细节层次，从而提高渲染效率和质量。
技术框架：该方法包括两个主要阶段：首先是构建聚合层次结构的过程，其次是基于目标设备内存选择合适的细节层次。通过预算中心训练，直接测量场景所需的原始元素数量。
关键创新：最重要的创新在于提出了一种预算误差法则，基于相位空间中的最优传输理论，明确了场景所需的原始元素数量和可安全放弃的数量。
关键设计：在训练过程中，采用了预算中心的训练策略，避免了后期优化冗余原始元素的浪费，确保了模型的高效性和实用性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Budgeted-GS在13个公共场景下实现了1920x1080分辨率的实时渲染，且在不同内存容量的消费级GPU上均表现出色，显著提升了渲染效率和质量。
🎯 应用场景
Budgeted-GS方法在城市规模的3D建模和渲染中具有广泛的应用潜力，尤其适用于虚拟现实、城市规划和游戏开发等领域。其高效的内存管理和实时渲染能力将推动更大规模的场景可视化，提升用户体验。
📄 摘要（原文）
3D Gaussian Splatting achieves excellent visual quality with real-time rendering, but at the scale of entire cities it does not fit: a trained model carries millions of primitives and gigabytes of memory, and real-time rendering at high quality on a consumer GPU remains out of reach. We introduce Budgeted-GS, a post-hoc method that turns any trained 3DGS model into a factoring tree, a multi-resolution hierarchy of moment-matched aggregates. After a construction pass of a few seconds, a single quality parameter selects, for each view, the level of detail that fits the memory of the target device, so the same city-scale model serves GPUs with widely different memory capacities. When a new scene is to be trained, the same theory applies: instead of growing a full-sized model and compressing it afterwards, budget-centered training first measures how many primitives the scene needs and then trains the model directly at that size, avoiding the wasted effort of optimizing primitives that are later discarded. Both methods are grounded in a measurable capacity floor, a budget-error law derived from optimal transport in phase space; selection rules certified by recent covering theorems decide which primitives are redundant. The floor answers how many primitives a scene actually needs and how many can safely be given up. We validate the floor on 13 public scenes under a preregistered protocol, and exercise both methods from object scenes to an official city capture, rendering it at native 1920x1080, full SH, in real time on one consumer GPU.