RetinaGS: Scalable Training for Dense Scene Rendering with Billion-Scale 3D Gaussians

📄 arXiv: 2406.11836v2 📥 PDF

作者: Bingling Li, Shengyi Chen, Luchao Wang, Kaimin Liao, Sijie Yan, Yuanjun Xiong

分类: cs.CV, cs.GR

发布日期: 2024-06-17 (更新: 2024-06-22)

💡 一句话要点

RetinaGS：通过十亿级别3D高斯模型实现可扩展的稠密场景渲染训练

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 模型并行 大规模场景 渲染 三维重建

📋 核心要点

  1. 现有3D高斯溅射方法难以在大规模、高分辨率数据集上进行训练，限制了其应用。
  2. RetinaGS通过模型并行训练方法，结合适当的渲染方程，实现了对大规模3DGS模型的可扩展训练。
  3. 实验表明，RetinaGS能够有效提升视觉质量，并在MatrixCity数据集上成功训练了超过10亿个基元的3DGS模型。

📝 摘要（中文）

本文探讨了在大规模、高分辨率数据集上训练高参数3D高斯溅射(3DGS)模型的可能性。我们为3DGS设计了一种通用的模型并行训练方法，命名为RetinaGS，它使用适当的渲染方程，并且可以应用于任何场景和高斯基元的任意分布。这使得我们能够探索3DGS在基元数量和训练分辨率方面的缩放行为，这些行为以前难以探索，并超越了先前最先进的重建质量。我们观察到，随着基元数量的增加，视觉质量呈现明显的积极趋势。我们还展示了首次尝试在完整的MatrixCity数据集上训练具有超过10亿个基元的3DGS模型，并获得了有希望的视觉质量。

🔬 方法详解

问题定义：现有的3D高斯溅射（3DGS）方法在处理大规模、高分辨率数据集时面临训练效率和内存限制的挑战。由于3DGS模型的参数量巨大，直接训练需要大量的计算资源和存储空间，使得其难以应用于复杂的真实场景。此外，如何有效地管理和更新大量的3D高斯基元也是一个关键问题。

核心思路：RetinaGS的核心思路是采用模型并行的方式，将3DGS模型分割到多个计算设备上进行训练。通过合理的渲染方程设计，使得每个设备只需要处理一部分高斯基元，从而降低了单个设备的计算和存储负担。这种并行化的方法使得训练更大规模的3DGS模型成为可能，从而提升了渲染质量。

技术框架：RetinaGS的整体框架包括数据加载、模型分割、并行渲染、梯度聚合和模型更新等几个主要阶段。首先，将大规模数据集加载到内存中，并根据高斯基元的分布情况进行分割，分配到不同的计算设备上。然后，每个设备独立进行渲染计算，得到局部图像。接着，将各个设备的梯度信息进行聚合，更新全局模型参数。最后，重复上述过程，直到模型收敛。

关键创新：RetinaGS最重要的创新点在于其通用的模型并行训练方法，该方法可以应用于任何场景和高斯基元的任意分布。与以往的并行训练方法不同，RetinaGS不需要对场景进行特定的划分或假设，具有更强的通用性和灵活性。此外，RetinaGS还优化了渲染方程，使得并行计算更加高效。

关键设计：RetinaGS的关键设计包括：1) 高斯基元的分割策略，需要保证各个设备上的计算负载均衡；2) 渲染方程的优化，减少了设备间的通信量；3) 梯度聚合算法，需要保证梯度信息的准确性和一致性；4) 学习率的调整策略，需要适应大规模模型的训练特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RetinaGS在MatrixCity数据集上成功训练了超过10亿个基元的3DGS模型，并获得了有希望的视觉质量。实验结果表明，随着基元数量的增加，视觉质量呈现明显的积极趋势，验证了RetinaGS的可扩展性和有效性。此外，RetinaGS在重建质量方面超越了先前最先进的方法，证明了其在大规模场景重建方面的优势。

🎯 应用场景

RetinaGS在三维重建、虚拟现实、自动驾驶等领域具有广泛的应用前景。它可以用于构建大规模、高精度的三维场景模型，为虚拟现实应用提供更加逼真的视觉体验。在自动驾驶领域，RetinaGS可以用于构建高精地图，提高车辆的感知能力和导航精度。此外，RetinaGS还可以应用于城市建模、游戏开发等领域。

📄 摘要（原文）

In this work, we explore the possibility of training high-parameter 3D Gaussian splatting (3DGS) models on large-scale, high-resolution datasets. We design a general model parallel training method for 3DGS, named RetinaGS, which uses a proper rendering equation and can be applied to any scene and arbitrary distribution of Gaussian primitives. It enables us to explore the scaling behavior of 3DGS in terms of primitive numbers and training resolutions that were difficult to explore before and surpass previous state-of-the-art reconstruction quality. We observe a clear positive trend of increasing visual quality when increasing primitive numbers with our method. We also demonstrate the first attempt at training a 3DGS model with more than one billion primitives on the full MatrixCity dataset that attains a promising visual quality.