Tile and Slide : A New Framework for Scaling NeRF from Local to Global 3D Earth Observation

📄 arXiv: 2507.01631v2 📥 PDF

作者: Camille Billouard, Dawa Derksen, Alexandre Constantin, Bruno Vallet

分类: cs.CV, cs.AI, cs.GR, cs.LG

发布日期: 2025-07-02 (更新: 2025-07-31)

备注: Accepted at ICCV 2025 Workshop 3D-VAST (From street to space: 3D Vision Across Altitudes). Our code will be made public after the conference at https://github.com/Ellimac0/Snake-NeRF

💡 一句话要点

提出Snake-NeRF框架，实现NeRF从局部到全局3D地球观测的扩展

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 三维重建 卫星图像 大规模场景 地球观测

📋 核心要点

  1. 现有NeRF方法受限于内存占用，难以处理大规模场景的三维重建任务，尤其是在卫星图像领域。
  2. Snake-NeRF通过将场景分割成多个无重叠的3D瓦片NeRF，并采用外存方法，避免同时加载所有数据，从而实现单设备上的大规模NeRF训练。
  3. 该方法引入了新的3D瓦片渐进策略和分段采样器，有效解决了瓦片边缘的重建误差问题，保证重建质量。

📝 摘要（中文）

神经辐射场（NeRF）最近成为多视角卫星图像三维重建的一种范例。然而，由于训练期间的内存占用，最先进的NeRF方法通常仅限于小场景，这是本文研究的重点。先前关于大规模NeRF的工作通过将场景划分为多个NeRF来缓解这个问题。本文介绍了一种名为Snake-NeRF的框架，它可以扩展到大型场景。我们的外存方法消除了同时加载所有图像和网络的需要，并且可以在单个设备上运行。我们通过将感兴趣区域划分为无重叠的3D瓦片NeRF来实现这一点。重要的是，我们裁剪具有重叠的图像，以确保每个NeRF都使用所有必要的像素进行训练。我们引入了一种新颖的$2 imes 2$ 3D瓦片渐进策略和分段采样器，它们共同防止了沿瓦片边缘的3D重建错误。我们的实验得出结论，大型卫星图像可以在单个GPU上以线性时间复杂度有效地处理，并且不会影响质量。

🔬 方法详解

问题定义：现有NeRF方法在处理大规模场景，特别是高分辨率卫星图像时，面临着巨大的内存挑战。传统的NeRF训练需要将所有图像和网络同时加载到GPU内存中，这对于大型场景来说是不可行的。因此，如何扩展NeRF以处理大规模场景，同时保持重建质量，是一个亟待解决的问题。

核心思路：Snake-NeRF的核心思路是将大规模场景分割成多个小的、无重叠的3D瓦片（tiles），每个瓦片对应一个独立的NeRF。通过这种方式，可以将大规模的重建任务分解成多个小规模的重建任务，从而降低内存需求。此外，采用外存计算的方式，避免一次性加载所有数据，进一步降低了内存压力。

技术框架：Snake-NeRF的整体框架包括以下几个主要步骤：1) 将感兴趣区域划分为多个无重叠的3D瓦片；2) 对输入图像进行裁剪，确保每个瓦片NeRF都包含足够的像素信息，裁剪区域之间存在重叠；3) 采用一种新的2x2 3D瓦片渐进策略，逐步训练每个瓦片NeRF；4) 使用分段采样器，防止瓦片边缘出现重建错误；5) 将所有瓦片NeRF的结果进行融合，得到最终的大规模场景重建结果。

关键创新：Snake-NeRF的关键创新在于其瓦片分割和渐进训练策略。传统的NeRF方法通常需要一次性处理整个场景，而Snake-NeRF通过将场景分割成多个瓦片，实现了大规模场景的分解。此外，2x2 3D瓦片渐进策略和分段采样器的引入，有效解决了瓦片边缘的重建误差问题，保证了重建质量。

关键设计：Snake-NeRF的关键设计包括：1) 瓦片大小的选择，需要在内存占用和重建质量之间进行权衡；2) 图像裁剪的重叠区域大小，需要保证每个瓦片NeRF都包含足够的像素信息；3) 2x2 3D瓦片渐进策略的具体实现，包括瓦片的训练顺序和训练参数的设置；4) 分段采样器的设计，需要根据瓦片的边缘位置进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Snake-NeRF框架可以在单个GPU上以线性时间复杂度有效地处理大型卫星图像，并且不会影响重建质量。与现有方法相比，Snake-NeRF在内存占用方面具有显著优势，可以处理更大规模的场景。此外，该方法在瓦片边缘的重建误差方面也表现出色，保证了整体重建结果的准确性。

🎯 应用场景

Snake-NeRF框架在地球观测领域具有广泛的应用前景，例如城市建模、环境监测、灾害评估等。通过对卫星图像进行三维重建，可以获取高精度的地理信息，为城市规划、资源管理和环境保护提供重要支持。此外，该方法还可以应用于自动驾驶、虚拟现实等领域，为用户提供更加真实和沉浸式的体验。

📄 摘要（原文）

Neural Radiance Fields (NeRF) have recently emerged as a paradigm for 3D reconstruction from multiview satellite imagery. However, state-of-the-art NeRF methods are typically constrained to small scenes due to the memory footprint during training, which we study in this paper. Previous work on large-scale NeRFs palliate this by dividing the scene into NeRFs. This paper introduces Snake-NeRF, a framework that scales to large scenes. Our out-of-core method eliminates the need to load all images and networks simultaneously, and operates on a single device. We achieve this by dividing the region of interest into NeRFs that 3D tile without overlap. Importantly, we crop the images with overlap to ensure each NeRFs is trained with all the necessary pixels. We introduce a novel $2\times 2$ 3D tile progression strategy and segmented sampler, which together prevent 3D reconstruction errors along the tile edges. Our experiments conclude that large satellite images can effectively be processed with linear time complexity, on a single GPU, and without compromise in quality.