ForeSplat: Optimization-Aware Foresight for Feed-Forward 3D Gaussian Splatting
作者: Yuke Li, Weihang Liu, Cheng Zhang, Yuefeng Zhang, Jiadi Cui, Zixuan Wang, Junran Ding, Haoyu Wu, Yujiao Shi, Jingyi Yu, Xin Lou
分类: cs.CV
发布日期: 2026-05-21
💡 一句话要点
ForeSplat：面向优化的前瞻性训练，加速3D高斯溅射重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 三维重建 元学习 优化感知 前馈网络
📋 核心要点
- 现有前馈3DGS模型受限于训练数据规模，难以达到单场景优化质量，且忽略了输出对后续优化的影响。
- ForeSplat通过MetaGrad元梯度训练，使前馈模型输出更适合后续优化，降低模型容量需求，实现快速高质量重建。
- 实验表明，ForeSplat在多种骨干网络上均能加速收敛，提升重建质量，有效弥合了摊销预测与单场景优化之间的差距。
📝 摘要（中文）
前馈3D高斯溅射(3DGS)模型能够快速进行单次重建，但由于缺乏大规模3D标注，难以扩展到与单场景优化质量相匹配的程度。一种实用的折衷方案是先预测后优化，即通过预测后的优化来弥补前馈网络的有限容量。然而，标准前馈3DGS仅针对零步渲染误差进行训练，忽略了其输出是否构成下游优化器的良好初始化。我们提出了ForeSplat，一个面向优化的训练框架，使前馈3DGS模型能够生成专门为快速、有效优化而设计的初始化。通过将部分场景建模负担转移到优化器，ForeSplat大大降低了前馈模型的容量压力，即使使用紧凑型网络也能实现高质量重建。其核心是MetaGrad，一种轻量级多锚点元梯度训练规则，通过3DGS优化器绕过代价高昂的高阶微分。MetaGrad展开一个短的内循环优化轨迹，采样锚点状态，并将聚合的一阶梯度反向传播到预测头，作为替代的面向优化的信号。这种微调不增加推理成本，并能在几次优化步骤后在几秒钟内实现高质量重建。我们在不同的骨干网络上实例化ForeSplat，包括AnySplat、Pi3X和一个为边缘部署定制的蒸馏变体。在所有测试的架构中，经过ForeSplat训练的初始化比其原始版本收敛所需的优化步骤更少，并达到更高的峰值重建质量，甚至完全收敛。该框架始终弥合了摊销预测和单场景优化之间的差距，为轻量级、高保真3D重建建立了一条实用的途径。
🔬 方法详解
问题定义：论文旨在解决前馈3D高斯溅射（3DGS）模型在缺乏大规模3D标注数据的情况下，难以达到单场景优化质量的问题。现有方法通常只关注零步渲染误差，忽略了前馈模型的输出作为后续优化器初始化的质量，导致模型容量压力大，重建效果受限。
核心思路：论文的核心思路是设计一种面向优化的训练框架ForeSplat，使前馈3DGS模型能够生成更适合后续优化的初始化参数。通过将部分场景建模的负担转移给优化器，降低前馈模型的容量压力，从而在有限的计算资源下实现高质量的3D重建。
技术框架：ForeSplat的核心是MetaGrad元梯度训练规则。整体流程如下：1) 使用前馈3DGS模型进行初始预测；2) 运行一个短的内循环优化轨迹，模拟后续优化过程；3) 在优化轨迹中采样锚点状态；4) 计算锚点状态的梯度，并将其聚合后反向传播到预测头，作为优化感知的信号。通过这种方式，前馈模型能够学习到如何生成更易于优化的初始化参数。
关键创新：最重要的技术创新点是MetaGrad元梯度训练规则。与传统的训练方法不同，MetaGrad考虑了前馈模型的输出对后续优化过程的影响，通过模拟优化过程并反向传播梯度，使模型能够学习到优化感知的初始化参数。这种方法避免了直接对3DGS优化器进行高阶微分，降低了计算复杂度。
关键设计：MetaGrad的关键设计包括：1) 短的内循环优化轨迹的长度，决定了优化感知的程度；2) 锚点状态的采样策略，影响梯度的准确性；3) 梯度的聚合方式，决定了优化信号的强度；4) 损失函数的设计，需要平衡零步渲染误差和优化感知误差。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ForeSplat在多种骨干网络（AnySplat、Pi3X等）上均能显著提升重建质量和收敛速度。相比于原始的前馈3DGS模型，ForeSplat训练的初始化参数能够更快地收敛到更高的峰值重建质量。例如，在相同优化步骤下，ForeSplat能够将重建质量提升显著百分比（具体数值需参考论文实验数据）。
🎯 应用场景
ForeSplat在三维重建领域具有广泛的应用前景，例如：机器人导航、自动驾驶、虚拟现实、增强现实等。该方法能够利用轻量级模型实现快速、高质量的三维重建，尤其适用于资源受限的边缘设备，例如移动设备、无人机等。未来，ForeSplat有望推动三维重建技术在更多实际场景中的应用。
📄 摘要（原文）
Feed-forward 3D Gaussian Splatting (3DGS) models offer fast single-pass reconstruction,but scaling them to match per-scene optimization quality is fundamentally hindered by the scarcity of large-scale 3D annotations.A practical compromise is predict-then-refine,where post-prediction optimization compensates for the limited capacity of the feed-forward network.However,standard feed-forward 3DGS is trained solely for zero-step rendering error,ignoring whether its output constitutes a good initialization for the downstream optimizer.We present ForeSplat,an optimization-aware training framework that equips feed-forward 3DGS models to produce initializations explicitly designed for rapid,effective refinement.By offloading part of the scene-modeling burden to the optimizer,ForeSplat substantially reduces the capacity pressure on the feed-forward model,making high-quality reconstruction feasible even with compact networks.At its core is MetaGrad,a lightweight multi-anchor meta-gradient training rule that bypasses costly higher-order differentiation through the 3DGS optimizer.MetaGrad unrolls a short inner-loop refinement trajectory,samples anchor states,and back-propagates aggregated first-order gradients to the prediction head as a surrogate optimization-aware signal.This fine-tuning adds no inference cost and enables high-quality reconstruction within seconds after a few refinement steps.We instantiate ForeSplat on diverse backbones,including AnySplat,Pi3X,and a distilled variant tailored for edge deployment.Across all tested architectures,a ForeSplat-trained initialization converges in fewer refinement steps and reaches a higher peak reconstruction quality than its vanilla counterpart,even fully converged.The framework consistently bridges the gap between amortized prediction and per-scene optimization,establishing a practical path toward lightweight,high-fidelity 3D reconstruction.