Incremental Multi-Scene Modeling via Continual Neural Graphics Primitives

📄 arXiv: 2411.19903v4 📥 PDF

作者: Prajwal Singh, Ashish Tiwari, Gautam Vashishtha, Shanmuganathan Raman

分类: cs.CV, cs.LG

发布日期: 2024-11-29 (更新: 2025-08-26)

💡 一句话要点

提出C-NGP，通过持续学习将多个场景增量式建模到单个神经辐射场中

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 持续学习 增量学习 生成式重放 多场景建模

📋 核心要点

  1. 现有NeRF方法对每个场景单独建模，导致存储和训练成本随场景数量线性增长，缺乏可扩展性。
  2. C-NGP利用持续学习框架和生成式重放策略，将多个场景增量式地整合到单个NeRF模型中，避免了灾难性遗忘。
  3. 实验表明，C-NGP在合成和真实数据集上实现了高质量的新视角渲染，且参数量没有显著增加，性能接近Vanilla NeRF。

📝 摘要（中文）

神经辐射场(NeRF)彻底改变了3D场景新视角合成的真实感渲染。尽管NeRF作为3D资源越来越受欢迎和高效，但由于每个场景需要单独的模型，以及多个场景训练时间累积增加，NeRF面临可扩展性挑战。将多个3D场景增量式编码到单个NeRF模型中的潜力在很大程度上尚未被探索。为了解决这个问题，我们引入了Continual-Neural Graphics Primitives (C-NGP)，这是一个新颖的持续学习框架，它将多个场景增量式集成到单个神经辐射场中。通过使用生成式重放方法，C-NGP可以适应新场景，而无需访问旧数据。我们证明了C-NGP可以在不增加参数数量的情况下容纳多个场景，从而在合成和真实数据集上产生高质量的新视角渲染。值得注意的是，C-NGP将Real-LLFF数据集中的所有8个场景建模在一起，与独立建模每个场景的vanilla NeRF相比，PSNR仅下降了2.2%。此外，C-NGP允许在同一网络中进行多次风格编辑。

🔬 方法详解

问题定义：现有神经辐射场（NeRF）方法通常需要为每个3D场景训练一个独立的模型。当需要处理多个场景时，这种方式会导致模型数量线性增长，存储空间需求巨大，并且训练时间也会累积增加，严重限制了NeRF在实际应用中的可扩展性。此外，如何让NeRF模型在学习新场景的同时，不忘记之前学习过的场景也是一个挑战，即灾难性遗忘问题。

核心思路：C-NGP的核心思路是利用持续学习（Continual Learning）的思想，将多个场景增量式地整合到一个单一的神经辐射场模型中。通过这种方式，模型可以逐步学习新的场景，而无需为每个场景单独训练一个模型。为了避免灾难性遗忘，C-NGP采用了一种生成式重放（Generative Replay）策略，即利用生成模型来模拟之前学习过的场景的数据，并在训练新场景时，将生成的数据与新场景的数据混合在一起进行训练。

技术框架：C-NGP的整体框架包含一个神经辐射场模型和一个生成模型。神经辐射场模型负责学习和渲染3D场景，而生成模型负责生成之前学习过的场景的数据。在训练过程中，首先使用当前场景的数据训练神经辐射场模型，然后使用生成模型生成之前学习过的场景的数据，并将生成的数据与当前场景的数据混合在一起，再次训练神经辐射场模型。通过这种方式，模型可以在学习新场景的同时，保留之前学习过的场景的信息。

关键创新：C-NGP的关键创新在于将持续学习和生成式重放技术应用于神经辐射场模型。通过这种方式，C-NGP可以增量式地学习多个场景，而无需为每个场景单独训练一个模型，并且可以有效地避免灾难性遗忘问题。与现有方法相比，C-NGP具有更好的可扩展性和泛化能力。

关键设计：C-NGP的关键设计包括：1) 使用MLP作为神经辐射场模型的backbone；2) 使用VAE作为生成模型，用于生成之前学习过的场景的数据；3) 设计了一种混合损失函数，用于同时优化神经辐射场模型和生成模型。损失函数包括渲染损失、生成损失和正则化损失。渲染损失用于优化神经辐射场模型的渲染质量，生成损失用于优化生成模型的生成质量，正则化损失用于防止模型过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

C-NGP在Real-LLFF数据集上进行了实验，结果表明，C-NGP可以将所有8个场景建模到一个单一的神经辐射场模型中，与独立建模每个场景的Vanilla NeRF相比，PSNR仅下降了2.2%。这表明C-NGP可以在不显著降低渲染质量的情况下，有效地减少模型数量和存储空间需求。此外，C-NGP还支持在同一网络中进行多次风格编辑，进一步提高了模型的灵活性和可定制性。

🎯 应用场景

C-NGP具有广泛的应用前景，例如在自动驾驶、机器人导航、虚拟现实和增强现实等领域。它可以用于构建大规模的3D场景地图，并支持动态场景的更新和维护。此外，C-NGP还可以用于生成逼真的虚拟环境，为用户提供沉浸式的体验。该研究为神经渲染领域的可扩展性和持续学习提供了一种新的解决方案。

📄 摘要（原文）

Neural radiance fields (NeRF) have revolutionized photorealistic rendering of novel views for 3D scenes. Despite their growing popularity and efficiency as 3D resources, NeRFs face scalability challenges due to the need for separate models per scene and the cumulative increase in training time for multiple scenes. The potential for incrementally encoding multiple 3D scenes into a single NeRF model remains largely unexplored. To address this, we introduce Continual-Neural Graphics Primitives (C-NGP), a novel continual learning framework that integrates multiple scenes incrementally into a single neural radiance field. Using a generative replay approach, C-NGP adapts to new scenes without requiring access to old data. We demonstrate that C-NGP can accommodate multiple scenes without increasing the parameter count, producing high-quality novel-view renderings on synthetic and real datasets. Notably, C-NGP models all $8$ scenes from the Real-LLFF dataset together, with only a $2.2\%$ drop in PSNR compared to vanilla NeRF, which models each scene independently. Further, C-NGP allows multiple style edits in the same network.