3DGabSplat: 3D Gabor Splatting for Frequency-adaptive Radiance Field Rendering
作者: Junyu Zhou, Yuyang Huang, Wenrui Dai, Junni Zou, Ziyang Zheng, Nuowen Kan, Chenglin Li, Hongkai Xiong
分类: cs.CV
发布日期: 2025-08-07
备注: Accepted by ACM MM'25
💡 一句话要点
提出3DGabSplat，利用3D Gabor基元实现频率自适应的辐射场渲染，提升细节表现和效率。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D Gabor Splatting 辐射场渲染 新视角合成 高频细节 CUDA光栅化 频率自适应 3D高斯溅射
📋 核心要点
- 3DGS虽然渲染速度快，但由于高斯函数的低通特性，难以捕捉3D场景中的高频细节，导致细节缺失和效率降低。
- 3DGabSplat利用3D Gabor基元，通过多方向的3D频率响应，更有效地表示辐射场，从而捕捉更精细的3D细节。
- 实验表明，3DGabSplat在渲染质量上优于3DGS及其变体，同时减少了基元数量和内存消耗，提升了渲染效率。
📝 摘要（中文）
3D高斯溅射(3DGS)在保持高保真度新视角合成的同时实现了实时渲染。然而，3DGS本质上是低通的高斯函数，限制了其在3D场景中表示高频细节的能力，导致冗余基元，降低训练和渲染效率，并产生过多的内存开销。为了克服这些限制，我们提出了3D Gabor溅射(3DGabSplat)，它利用一种新的基于3D Gabor的基元，该基元具有多个方向的3D频率响应，用于在多视角图像监督下进行辐射场表示。所提出的基于3D Gabor的基元形成了一个滤波器组，该滤波器组结合了不同频率的多个3D Gabor核，以增强捕获精细3D细节的灵活性和效率。此外，为了实现新视角渲染，我们开发了一种高效的基于CUDA的光栅化器，用于将以3D Gabor基元为特征的多个方向的3D频率分量投影到2D图像平面上，并提出了一种频率自适应机制，用于基元的自适应联合优化。3DGabSplat具有可扩展性，可以作为一个即插即用的内核无缝集成到现有的3DGS范例中，以提高新视角合成的效率和质量。大量的实验表明，3DGabSplat优于3DGS及其使用替代基元的变体，并在真实和合成场景中实现了最先进的渲染质量。值得注意的是，与3DGS相比，我们在减少基元数量和内存消耗的同时，实现了高达1.35 dB的PSNR增益。
🔬 方法详解
问题定义：3DGS方法在高频细节的表示上存在不足，导致渲染质量受限，且存在冗余基元，影响训练和渲染效率，并增加内存开销。论文旨在解决3DGS在高频细节捕捉方面的局限性，提高渲染质量和效率。
核心思路：论文的核心思路是使用3D Gabor基元代替传统的高斯基元，利用Gabor基元的多方向、多频率特性，更有效地表示3D场景中的高频细节。通过频率自适应机制，优化基元参数，提高渲染质量和效率。
技术框架：3DGabSplat框架主要包含以下几个部分：1) 使用3D Gabor基元表示辐射场；2) 开发基于CUDA的光栅化器，将3D Gabor基元投影到2D图像平面；3) 提出频率自适应机制，联合优化基元参数。整体流程是从多视角图像中学习3D Gabor基元的参数，然后使用光栅化器进行新视角渲染。
关键创新：最重要的技术创新点在于使用3D Gabor基元代替传统的高斯基元。Gabor基元具有多方向、多频率特性，能够更好地捕捉3D场景中的高频细节。此外，频率自适应机制能够根据场景内容自适应地调整基元参数，进一步提高渲染质量和效率。与3DGS相比，3DGabSplat在基元表示和优化方面进行了创新。
关键设计：3D Gabor基元的参数包括位置、尺度、方向、频率等。论文设计了频率自适应机制，根据场景内容自适应地调整基元的频率参数。损失函数包括渲染损失和正则化损失，用于优化基元参数。基于CUDA的光栅化器用于高效地将3D Gabor基元投影到2D图像平面。
🖼️ 关键图片
📊 实验亮点
实验结果表明，3DGabSplat在渲染质量上优于3DGS及其变体，在真实和合成场景中都取得了state-of-the-art的结果。与3DGS相比，3DGabSplat在减少基元数量和内存消耗的同时，实现了高达1.35 dB的PSNR增益。这些结果表明，3DGabSplat能够更有效地表示3D场景，提高渲染质量和效率。
🎯 应用场景
3DGabSplat可应用于虚拟现实、增强现实、游戏开发、自动驾驶等领域。通过提高渲染质量和效率，可以为用户提供更逼真、更流畅的视觉体验。该技术还可以用于三维重建、场景编辑等应用，具有广泛的应用前景和实际价值。
📄 摘要（原文）
Recent prominence in 3D Gaussian Splatting (3DGS) has enabled real-time rendering while maintaining high-fidelity novel view synthesis. However, 3DGS resorts to the Gaussian function that is low-pass by nature and is restricted in representing high-frequency details in 3D scenes. Moreover, it causes redundant primitives with degraded training and rendering efficiency and excessive memory overhead. To overcome these limitations, we propose 3D Gabor Splatting (3DGabSplat) that leverages a novel 3D Gabor-based primitive with multiple directional 3D frequency responses for radiance field representation supervised by multi-view images. The proposed 3D Gabor-based primitive forms a filter bank incorporating multiple 3D Gabor kernels at different frequencies to enhance flexibility and efficiency in capturing fine 3D details. Furthermore, to achieve novel view rendering, an efficient CUDA-based rasterizer is developed to project the multiple directional 3D frequency components characterized by 3D Gabor-based primitives onto the 2D image plane, and a frequency-adaptive mechanism is presented for adaptive joint optimization of primitives. 3DGabSplat is scalable to be a plug-and-play kernel for seamless integration into existing 3DGS paradigms to enhance both efficiency and quality of novel view synthesis. Extensive experiments demonstrate that 3DGabSplat outperforms 3DGS and its variants using alternative primitives, and achieves state-of-the-art rendering quality across both real-world and synthetic scenes. Remarkably, we achieve up to 1.35 dB PSNR gain over 3DGS with simultaneously reduced number of primitives and memory consumption.