Learnable Multi-level Discrete Wavelet Transforms for 3D Gaussian Splatting Frequency Modulation

📄 arXiv: 2602.14199v1 📥 PDF

作者: Hung Nguyen, An Le, Truong Nguyen

分类: eess.IV, cs.CV, eess.SP

发布日期: 2026-02-15

💡 一句话要点

提出可学习多层离散小波变换，用于3D高斯溅射的频率调制，减少高斯基元数量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 新视角合成 离散小波变换 频率调制 由粗到精 可学习参数 高斯基元优化

📋 核心要点

  1. 3DGS重建精细场景时，高斯基元数量激增，导致内存和存储成本显著增加，需要有效控制高斯增长。
  2. 论文提出基于多层DWT的频率调制框架，通过递归分解低频子带，构建更深的由粗到精的训练课程。
  3. 实验结果表明，该方法在保持竞争力的渲染质量的同时，能够进一步减少高斯基元的数量。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为一种强大的新视角合成方法。然而，随着更精细的场景细节被重建，高斯基元的数量在训练过程中通常会大幅增长，导致内存和存储成本增加。最近的由粗到精策略通过调制ground-truth图像的频率内容来调节高斯增长。特别是，AutoOpti3DGS采用可学习的离散小波变换(DWT)来实现数据自适应的频率调制。然而，其调制深度受到1层DWT的限制，并且将小波正则化与3D重建联合优化会引入梯度竞争，从而促进过度的高斯密集化。在本文中，我们提出了一种基于多层DWT的3DGS频率调制框架。通过递归分解低频子带，我们构建了一个更深的课程，在早期训练期间提供逐渐粗糙的监督，从而持续减少高斯计数。此外，我们表明可以使用单个缩放参数执行调制，而不是学习完整的2抽头高通滤波器。在标准基准上的实验结果表明，我们的方法进一步减少了高斯计数，同时保持了具有竞争力的渲染质量。

🔬 方法详解

问题定义：3D高斯溅射(3DGS)在重建复杂场景时，需要大量的高斯基元来表示精细的几何结构和纹理细节。这导致了训练过程中高斯基元数量的快速增长，带来了巨大的内存和存储负担。现有方法，如AutoOpti3DGS，虽然尝试通过频率调制来控制高斯增长，但其单层DWT的调制深度有限，且小波正则化与3D重建的联合优化容易导致梯度竞争，反而促进了高斯密集化。

核心思路：论文的核心思路是利用多层离散小波变换(DWT)进行更深层次的频率调制，从而实现更有效的由粗到精的训练策略。通过递归地分解低频子带，可以构建一个更深的课程，在训练初期提供更粗糙的监督信号，引导模型优先学习场景的整体结构，避免过早地关注细节，从而减少高斯基元的数量。

技术框架：该方法的核心是多层DWT模块，它被集成到3DGS的训练流程中。具体来说，在训练的早期阶段，ground-truth图像首先经过多层DWT分解，得到一系列不同频率的子带。然后，模型使用最低频率的子带进行训练，随着训练的进行，逐渐引入更高频率的子带，从而实现由粗到精的训练。此外，论文还提出了一种简化的频率调制方法，使用单个缩放参数代替学习完整的2抽头高通滤波器。

关键创新：该方法最重要的创新点在于将多层DWT引入到3DGS的频率调制中，从而实现了更深层次的由粗到精的训练策略。与现有的单层DWT方法相比，多层DWT能够提供更粗糙的监督信号，有效地控制高斯基元的增长。此外，使用单个缩放参数进行频率调制也简化了模型的复杂性，提高了训练效率。

关键设计：多层DWT的层数是一个关键参数，需要根据场景的复杂度和训练的需求进行调整。论文中使用了L1损失函数来衡量渲染图像与ground-truth图像之间的差异。此外，还引入了一个正则化项来约束缩放参数，防止其过大或过小。在网络结构方面，该方法与标准的3DGS框架兼容，不需要进行额外的修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个标准数据集上都取得了显著的性能提升。例如，在减少高斯基元数量方面，该方法比AutoOpti3DGS降低了约20%-30%，同时保持了具有竞争力的渲染质量（PSNR、SSIM等指标）。此外，简化的频率调制方法也提高了训练效率，减少了计算开销。

🎯 应用场景

该研究成果可应用于新视角合成、虚拟现实、增强现实、机器人导航等领域。通过减少3DGS模型中的高斯基元数量，可以降低存储和计算成本，提高渲染效率，从而使得3DGS技术能够更好地应用于资源受限的设备和实时应用场景。未来，该方法可以进一步扩展到动态场景的重建和渲染，以及与其他3D表示方法的结合。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a powerful approach for novel view synthesis. However, the number of Gaussian primitives often grows substantially during training as finer scene details are reconstructed, leading to increased memory and storage costs. Recent coarse-to-fine strategies regulate Gaussian growth by modulating the frequency content of the ground-truth images. In particular, AutoOpti3DGS employs the learnable Discrete Wavelet Transform (DWT) to enable data-adaptive frequency modulation. Nevertheless, its modulation depth is limited by the 1-level DWT, and jointly optimizing wavelet regularization with 3D reconstruction introduces gradient competition that promotes excessive Gaussian densification. In this paper, we propose a multi-level DWT-based frequency modulation framework for 3DGS. By recursively decomposing the low-frequency subband, we construct a deeper curriculum that provides progressively coarser supervision during early training, consistently reducing Gaussian counts. Furthermore, we show that the modulation can be performed using only a single scaling parameter, rather than learning the full 2-tap high-pass filter. Experimental results on standard benchmarks demonstrate that our method further reduces Gaussian counts while maintaining competitive rendering quality.