Learn2Splat: Extending the Horizon of Learned 3DGS Optimization
作者: Naama Pearl, Stefano Esposito, Haofei Xu, Amit Peleg, Patricia Gschossmann, Lorenzo Porzi, Peter Kontschieder, Gerard Pons-Moll, Andreas Geiger
分类: cs.CV
发布日期: 2026-05-15
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
Learn2Splat：通过元学习扩展3D高斯溅射优化视野
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 3D高斯溅射 学习优化器 元学习 新视角合成 三维重建
📋 核心要点
- 现有3DGS优化方法依赖通用优化器，忽略了场景内部结构和空间关系，导致优化效率低下。
- 提出一种基于元学习的学习优化器，通过检查点缓冲区和rollout策略扩展优化视野，避免性能下降。
- 实验表明，该方法在早期新视角合成质量上有所提升，并能零样本泛化到未见过的重建场景。
📝 摘要（中文）
3D高斯溅射(3DGS)优化通常使用标准优化器(Adam, SGD)。虽然这些优化器在各种场景中表现稳定，但它们是通用型的，并未针对问题的结构进行定制。特别是，它们产生独立的参数更新，无法捕捉场景中的结构和空间关系，导致优化效率低下和收敛速度慢。最近的研究引入了学习优化器，可以预测由参数间和高斯间依赖关系驱动的相关更新。然而，这些方法针对固定数量的优化迭代进行训练，并依赖手动调度的学习率来避免性能下降。本文提出了一种用于3DGS的学习优化器，它避免了在扩展优化视野上的性能下降，而无需辅助机制。为此，我们提出了一种元学习方案，通过检查点缓冲区和优化器rollout策略来扩展优化视野，并结合一种在其潜在状态中编码梯度尺度信息的架构。结果表明，在较长视野内保持稳定的同时，早期新视角合成质量得到改善，并且可以零样本泛化到未见过的重建设置。为了支持我们的发现，我们引入了第一个统一的框架，用于训练和评估稀疏和密集视图设置中的学习优化器和传统优化器。代码和模型将公开发布。
🔬 方法详解
问题定义：现有3D高斯溅射(3DGS)优化方法主要依赖于Adam、SGD等通用优化器。这些优化器在处理不同场景时表现出一定的稳定性，但它们并非针对3DGS问题的特定结构进行设计，无法有效捕捉场景中参数间的依赖关系和空间关系。这导致优化过程效率低下，收敛速度缓慢，难以达到理想的渲染效果。
核心思路：本文的核心思路是利用元学习训练一个专门针对3DGS优化的学习优化器。该优化器能够学习参数之间的依赖关系，并预测相关的参数更新，从而提高优化效率和收敛速度。为了解决学习优化器在长优化周期内性能下降的问题，论文引入了检查点缓冲区和优化器rollout策略，以扩展优化视野。
技术框架：该方法的技术框架主要包括以下几个模块：1) 3DGS参数：待优化的3D高斯参数，如位置、旋转、缩放、颜色等。2) 学习优化器：一个神经网络，输入为当前参数的梯度和历史状态，输出为参数的更新量。3) 检查点缓冲区：用于存储优化过程中的参数状态，以便进行rollout训练。4) Rollout策略：一种训练策略，通过从检查点缓冲区中采样参数状态，模拟长优化周期，从而训练出能够在长周期内保持稳定的学习优化器。5) 梯度尺度编码：在优化器架构中，将梯度尺度信息编码到潜在状态中，帮助优化器更好地理解和利用梯度信息。
关键创新：该论文的关键创新在于：1) 提出了一种基于元学习的学习优化器，专门用于3DGS优化，能够学习参数之间的依赖关系。2) 引入了检查点缓冲区和优化器rollout策略，解决了学习优化器在长优化周期内性能下降的问题。3) 提出了梯度尺度编码方法，帮助优化器更好地理解和利用梯度信息。4) 构建了一个统一的框架，用于训练和评估学习优化器和传统优化器。
关键设计：1) 优化器架构：使用循环神经网络(RNN)或Transformer等结构，用于建模参数之间的依赖关系和时间序列信息。2) 损失函数：使用渲染损失和正则化损失的加权和，用于指导优化器的训练。渲染损失衡量渲染图像与目标图像之间的差异，正则化损失用于约束参数的取值范围。3) Rollout策略：从检查点缓冲区中随机采样参数状态，并使用学习优化器进行多个迭代的优化，然后计算损失并更新优化器的参数。4) 梯度尺度编码：将梯度尺度的统计信息(如均值、方差)作为优化器的输入，或者将其嵌入到优化器的潜在状态中。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在早期新视角合成质量上优于传统优化器，并在长优化周期内保持稳定。该方法能够零样本泛化到未见过的重建场景，表明其具有良好的泛化能力。此外，该论文还构建了一个统一的框架，用于训练和评估学习优化器和传统优化器，为后续研究提供了便利。
🎯 应用场景
该研究成果可应用于三维重建、新视角合成、虚拟现实、增强现实等领域。通过提高3DGS优化的效率和质量，可以更快地生成高质量的三维模型和逼真的渲染图像，从而提升用户体验，加速相关应用的发展。此外，该方法还可以应用于其他基于梯度优化的任务中，具有一定的通用性。
📄 摘要（原文）
3D Gaussian Splatting (3DGS) optimization is most commonly performed using standard optimizers (Adam, SGD). While stable across diverse scenes, standard optimizers are general-purpose and not tailored to the structure of the problem. In particular, they produce independent parameter updates that do not capture the structural and spatial relationships within a scene, leading to inefficient optimization and slow convergence. Recent works introduced learned optimizers that predict correlated updates informed by inter-parameter and inter-Gaussian dependencies. However, these methods are trained for a fixed number of optimization iterations and rely on manually scheduled learning rates to avoid degradation. In this paper, we introduce a learned optimizer for 3DGS that avoids degradation over extended optimization horizons without auxiliary mechanisms. To enable this, we propose a meta-learning scheme that extends the optimization horizon via a checkpoint buffer and an optimizer rollout strategy, combined with an architecture that encodes gradient scale information in its latent states. Results show improved early novel view synthesis quality while remaining stable over long horizons, with zero-shot generalization to unseen reconstruction settings. To support our findings, we introduce the first unified framework for training and evaluating both learned and conventional optimizers across sparse and dense view settings. Code and models will be released publicly. Our project page is available at https://naamapearl.github.io/learn2splat .