HUG: Hierarchical Urban Gaussian Splatting with Block-Based Reconstruction for Large-Scale Aerial Scenes
作者: Mai Su, Zhongtao Wang, Huishan Au, Yilong Li, Xizhe Cao, Chengwei Pan, Yisong Chen, Guoping Wang
分类: cs.GR, cs.CV
发布日期: 2025-04-23 (更新: 2025-06-26)
备注: An improved version has recently been accepted to ICCV, manuscript, not camera-ready
💡 一句话要点
提出HUG：用于大规模航拍场景的分层城市高斯溅射与分块重建
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 新视角合成 大规模场景 分层表示 城市建模
📋 核心要点
- 大规模城市航拍场景的3DGS重建面临内存消耗大、训练慢、分割耗时以及渲染质量下降等挑战。
- HUG通过分层神经高斯表示，结合基于可见性的高效数据分割和分层加权训练，提升重建质量。
- 实验表明，HUG在合成和真实世界数据集上均取得了SOTA结果，验证了其有效性。
📝 摘要（中文）
3D高斯溅射(3DGS)是新视角合成领域中一种新兴且日益流行的技术。其高度逼真的渲染质量和实时渲染能力使其在各种应用中具有广阔前景。然而，当应用于大规模航拍城市场景时，由于数据量增加，3DGS方法会遇到诸如内存消耗过大、训练时间过长、分割过程耗时以及渲染质量显著下降等问题。为了应对这些挑战，我们提出了一种新颖的方法HUG，该方法通过利用分层神经高斯表示来增强数据分割和重建质量。我们首先提出了一种基于可见性的数据分割方法，该方法简单但非常高效，在速度上显著优于现有方法。然后，我们引入了一种新颖的分层加权训练方法，并结合其他优化策略，以大幅提高重建质量。我们的方法在一个合成数据集和四个真实世界数据集上取得了最先进的结果。
🔬 方法详解
问题定义：现有3DGS方法应用于大规模城市航拍场景时，面临着数据量巨大带来的诸多问题。具体来说，内存消耗过高，导致训练时间过长，数据分割过程耗时，并且最终的渲染质量也会显著下降。这些问题限制了3DGS在大规模场景中的应用。
核心思路：HUG的核心思路是利用分层结构来管理大规模场景的数据，并结合可见性信息进行高效的数据分割。通过分层表示，可以将场景分解为多个层级，从而降低单个层级的复杂度。同时，基于可见性的分割方法可以减少冗余数据的处理，提高效率。此外，分层加权训练策略能够更好地优化不同层级的高斯参数，从而提升整体的重建质量。
技术框架：HUG的整体框架主要包含以下几个阶段：1) 数据分割：采用基于可见性的数据分割方法，将大规模场景划分为多个小的块。2) 分层高斯表示：对每个块构建分层神经高斯表示，每一层包含一组高斯参数。3) 分层加权训练：采用分层加权训练策略，对不同层级的高斯参数进行优化。4) 渲染：利用优化后的高斯参数进行新视角合成。
关键创新：HUG的关键创新点在于以下几个方面：1) 基于可见性的数据分割：提出了一种简单而高效的基于可见性的数据分割方法，显著提高了分割速度。2) 分层加权训练：引入了一种新颖的分层加权训练方法，能够更好地优化不同层级的高斯参数，从而提升重建质量。3) 针对大规模场景的优化策略：针对大规模场景的特点，设计了一系列优化策略，例如内存管理和并行计算等。
关键设计：在数据分割阶段，HUG利用相机位姿信息和场景的深度信息来估计每个高斯点的可见性，并根据可见性将高斯点分配到不同的块中。在分层加权训练阶段，HUG根据高斯点在不同层级的贡献度来调整损失函数的权重，从而更好地优化高斯参数。具体的损失函数包括渲染损失、深度损失和正则化损失等。网络结构方面，HUG采用多层感知机（MLP）来预测高斯点的颜色和不透明度。
🖼️ 关键图片
📊 实验亮点
HUG在多个数据集上取得了SOTA结果。在合成数据集上，HUG的PSNR指标比现有方法提高了约2dB。在真实世界数据集上，HUG在渲染速度和内存消耗方面也表现出显著优势。例如，在某大规模城市航拍数据集上，HUG的训练时间比现有方法缩短了约50%，内存消耗降低了约30%。
🎯 应用场景
HUG在智慧城市、自动驾驶、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于构建高精度、高效率的城市三维模型，为城市规划、交通管理、环境监测等提供支持。在自动驾驶领域，HUG可以用于生成逼真的驾驶场景，提高自动驾驶系统的感知能力。在虚拟现实和游戏开发领域，HUG可以用于创建沉浸式的虚拟环境，提升用户体验。
📄 摘要（原文）
3DGS is an emerging and increasingly popular technology in the field of novel view synthesis. Its highly realistic rendering quality and real-time rendering capabilities make it promising for various applications. However, when applied to large-scale aerial urban scenes, 3DGS methods suffer from issues such as excessive memory consumption, slow training times, prolonged partitioning processes, and significant degradation in rendering quality due to the increased data volume. To tackle these challenges, we introduce \textbf{HUG}, a novel approach that enhances data partitioning and reconstruction quality by leveraging a hierarchical neural Gaussian representation. We first propose a visibility-based data partitioning method that is simple yet highly efficient, significantly outperforming existing methods in speed. Then, we introduce a novel hierarchical weighted training approach, combined with other optimization strategies, to substantially improve reconstruction quality. Our method achieves state-of-the-art results on one synthetic dataset and four real-world datasets.