RLSplat: Resource-Linear Budget Control for Feed-forward 3D Gaussian Splatting

📄 arXiv: 2610.27712v1 📥 PDF

作者: Injae Kim, Minseok Joo, Jihwan Park, Sehyung Kim, Minseong Bae, Hyunwoo J. Kim

分类: cs.CV, cs.AI

发布日期: 2026-10-20

备注: Code available at https://github.com/mlvlab/RLSplat

💡 一句话要点

提出RLSplat以解决FF3DGS推理资源控制问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 资源控制 推理优化 机器学习

📋 核心要点

  1. 现有的预算可控FF3DGS方法在推理时需要生成密集的高斯集合，导致延迟和内存消耗不随预算变化而变化。
  2. RLSplat通过学习高斯分配策略，直接生成所需数量的高斯，避免了修剪和选择过程，从而实现资源线性控制。
  3. 在零-shot评估中，RLSplat在所有预算下均超越了之前的预算可控方法，且在低预算下运行速度提高至4.1倍，峰值内存减少至9.6倍。

📝 摘要（中文）

本文提出了一种资源线性预算控制的前馈3D高斯点云重建框架RLSplat，旨在优化现有方法在推理过程中的资源消耗。现有的预算可控FF3DGS方法在推理时首先生成密集的高斯集合，然后进行修剪或选择，导致推理延迟和内存消耗几乎不变。RLSplat通过学习高斯分配策略，直接生成所需数量的高斯，并采用资源线性高斯解码技术，使得推理延迟和内存消耗随预算减少而线性降低。实验结果表明，RLSplat在各个预算下均优于现有方法，且在低预算情况下运行速度提高至4.1倍，峰值内存减少至9.6倍。

🔬 方法详解

问题定义：本文旨在解决现有前馈3D高斯点云重建方法在推理过程中资源消耗不随预算变化而变化的问题。现有方法在生成目标高斯数量时，需先生成密集的高斯集合，导致推理延迟和内存消耗几乎恒定。

核心思路：RLSplat的核心思路是通过学习高斯分配策略，直接生成所需数量的高斯，而不是依赖于后续的修剪或选择过程。这种设计使得推理延迟和内存消耗能够线性降低。

技术框架：RLSplat的整体架构包括高斯分配策略学习模块和资源线性高斯解码模块。前者负责根据场景区域分配预算，后者则通过高效的层次邻居搜索来优化高斯的解码过程。

关键创新：RLSplat的主要创新在于其资源线性控制能力，能够在推理过程中根据预算动态调整高斯数量，显著减少延迟和内存消耗。这与现有方法的修剪和选择机制形成了本质区别。

关键设计：在参数设置上，RLSplat采用了高斯分配策略的学习机制，损失函数设计为优化生成高斯的质量和数量，网络结构则集成了高效的邻居搜索算法，以支持资源线性解码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RLSplat在每个预算下均优于之前的预算可控方法，尤其是在低预算情况下，其运行速度提高至4.1倍，峰值内存减少至9.6倍，显示出显著的性能提升。

🎯 应用场景

RLSplat的研究成果在3D场景重建、虚拟现实和增强现实等领域具有广泛的应用潜力。其高效的资源控制能力使得在资源受限的设备上实现高质量的3D重建成为可能，推动了相关技术的实际应用和发展。

📄 摘要（原文）

Feed-forward 3D Gaussian Splatting (FF3DGS) reconstructs 3D scenes from images in a single forward pass, making it well-suited to applications that must operate within limited resource budgets. To further improve its practicality, recent budget-controllable FF3DGS methods allow the number of Gaussians to be adjusted at inference, so that the output meets a given storage limit or rendering-latency constraint. However, these methods overlook the cost of inference itself: to produce a representation with the target number of Gaussians, they first predict a dense set of Gaussians and then prune or select from it, requiring nearly constant latency and peak memory regardless of the budget. We therefore propose RLSplat, a resource-linear budget-controllable FF3DGS framework whose representation size, inference latency, and peak memory all decrease linearly as the Gaussian budget is reduced. Instead of pruning or selection, RLSplat learns a Gaussian allocation policy that distributes the budget across local scene regions, so that exactly the requested number of Gaussians is generated. These Gaussians are then refined through resource-linear Gaussian decoding, in which each Gaussian attends only to nearby Gaussians found via an efficient hierarchical neighbor search, so that the decoding cost decreases linearly with fewer Gaussians. In zero-shot evaluation, RLSplat outperforms prior budget-controllable methods at every budget, surpassing the strongest baseline even with 4$\times$ fewer Gaussians, while running up to 4.1$\times$ faster with 9.6$\times$ less peak memory at low budgets.