Scaling Point-based Differentiable Rendering for Large-scale Reconstruction

📄 arXiv: 2512.20017v1 📥 PDF

作者: Hexu Zhao, Xiaoteng Liu, Xiwen Min, Jianhao Huang, Youming Deng, Yanfei Li, Ang Li, Jinyang Li, Aurojit Panda

分类: cs.DC, cs.GR

发布日期: 2025-12-23

备注: 13 pages main text, plus appendix

💡 一句话要点

Gaian：用于大规模重建的可扩展点云可微渲染通用分布式训练系统

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 可微渲染 分布式训练 三维重建 数据局部性 大规模场景

📋 核心要点

  1. 现有PBDR系统难以扩展到高分辨率和大型场景，且与特定方法耦合，数据局部性差导致通信开销大。
  2. Gaian通过统一API支持多种PBDR方法，并利用数据访问信息优化局部性，从而减少通信。
  3. 实验表明，Gaian在多个数据集和GPU配置下，显著降低通信量并提升训练吞吐量。

📝 摘要（中文）

基于点的可微渲染(PBDR)能够实现高保真3D场景重建，但将PBDR扩展到高分辨率和大型场景需要高效的分布式训练系统。现有的系统与特定的PBDR方法紧密耦合，并且由于较差的数据局部性而遭受严重的通信开销。本文提出Gaian，一个通用的PBDR分布式训练系统。Gaian提供了一个统一的API，该API具有足够的表达能力来支持现有的PBDR方法，同时公开了丰富的数据访问信息，Gaian利用这些信息来优化局部性并减少通信。我们通过实现4种PBDR算法来评估Gaian。我们的实现实现了高性能和资源效率：在六个数据集和高达128个GPU上，它减少了高达91%的通信，并将训练吞吐量提高了1.50倍-3.71倍。

🔬 方法详解

问题定义：现有的基于点的可微渲染（PBDR）方法在处理大规模场景时面临挑战。具体来说，将PBDR扩展到高分辨率和大型场景需要高效的分布式训练系统。然而，现有的分布式训练系统通常与特定的PBDR方法紧密耦合，缺乏通用性。此外，由于数据局部性较差，这些系统在训练过程中会产生大量的通信开销，严重影响训练效率。

核心思路：Gaian的核心思路是提供一个通用的分布式训练系统，该系统能够支持多种PBDR方法，并优化数据局部性以减少通信开销。通过设计一个统一的API，Gaian可以灵活地支持不同的PBDR算法。同时，Gaian通过暴露丰富的数据访问信息，使得系统能够感知数据的访问模式，从而进行数据划分和调度优化，提高数据局部性。

技术框架：Gaian的整体架构包含以下几个主要模块：1) 统一API：提供通用的接口，支持不同的PBDR算法。2) 数据访问信息收集：收集训练过程中数据的访问模式。3) 数据划分和调度优化：根据数据访问信息，优化数据的划分和调度策略，提高数据局部性。4) 分布式训练引擎：负责执行分布式训练任务。整个流程为：首先，用户通过统一API提交PBDR任务；然后，系统收集数据访问信息；接着，系统根据收集到的信息进行数据划分和调度优化；最后，分布式训练引擎执行训练任务。

关键创新：Gaian的关键创新在于其通用性和数据局部性优化。与现有系统相比，Gaian能够支持多种PBDR方法，避免了为每种方法定制分布式训练系统的需求。通过数据访问信息收集和优化，Gaian能够显著减少通信开销，提高训练效率。

关键设计：Gaian的关键设计包括：1) 统一API的设计，需要考虑不同PBDR方法的共性，提供足够的表达能力。2) 数据访问信息的收集策略，需要尽可能减少对训练过程的干扰。3) 数据划分和调度优化算法，需要根据不同的数据访问模式进行调整，以达到最佳的局部性效果。具体的参数设置、损失函数和网络结构取决于所使用的PBDR算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Gaian在六个数据集和高达128个GPU的配置下，能够将通信量减少高达91%，并将训练吞吐量提高1.50倍-3.71倍。与现有系统相比，Gaian在性能和资源效率方面均有显著提升，证明了其在大规模PBDR训练中的有效性。

🎯 应用场景

Gaian可应用于大规模三维重建、虚拟现实、自动驾驶等领域。通过高效的分布式训练，Gaian能够支持更大规模、更高分辨率的场景重建，从而提升相关应用的用户体验和性能。未来，Gaian有望成为三维视觉领域重要的基础设施，推动相关技术的发展。

📄 摘要（原文）

Point-based Differentiable Rendering (PBDR) enables high-fidelity 3D scene reconstruction, but scaling PBDR to high-resolution and large scenes requires efficient distributed training systems. Existing systems are tightly coupled to a specific PBDR method. And they suffer from severe communication overhead due to poor data locality. In this paper, we present Gaian, a general distributed training system for PBDR. Gaian provides a unified API expressive enough to support existing PBDR methods, while exposing rich data-access information, which Gaian leverages to optimize locality and reduce communication. We evaluated Gaian by implementing 4 PBDR algorithms. Our implementations achieve high performance and resource efficiency: across six datasets and up to 128 GPUs, it reduces communication by up to 91% and improves training throughput by 1.50x-3.71x.