Fourier Splatting: Generalized Fourier encoded primitives for scalable radiance fields
作者: Mihnea-Bogdan Jurca, Bert Van hauwermeiren, Adrian Munteanu
分类: cs.CV
发布日期: 2026-03-20
💡 一句话要点
提出Fourier Splatting，通过傅里叶编码基元实现可扩展辐射场渲染
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 辐射场渲染 傅里叶编码 可扩展渲染 3D高斯溅射 新视角合成
📋 核心要点
- 现有3D高斯溅射方法依赖于大量图元实现高质量渲染，质量缩放只能通过裁剪图元实现，缺乏内在可扩展性。
- Fourier Splatting使用傅里叶编码描述符参数化平面surfel，实现可缩放基元，通过截断傅里叶系数控制渲染细节。
- 该方法在平面基元框架中实现了最先进的渲染质量，并与领先的体积表示方法在感知指标上具有可比性。
📝 摘要（中文）
本文提出了一种名为Fourier Splatting的可扩展辐射场渲染方法。该方法采用可扩展的基元，利用傅里叶编码描述符参数化平面surfel，从而获得任意闭合形状。这种公式允许单个训练模型通过在运行时截断傅里叶系数，以不同的细节级别进行渲染。为了促进稳定的优化，我们采用直通估计器来扩展梯度到基元边界之外，并引入HYDRA，这是一种在MCMC框架内将复杂基元分解为更简单成分的密度化策略。我们的方法在平面基元框架中实现了最先进的渲染质量，并且在标准基准测试中，与领先的体积表示相比，具有相当的感知指标，为带宽受限的高保真渲染提供了一种通用的解决方案。
🔬 方法详解
问题定义：现有基于3D高斯溅射的辐射场渲染方法，其渲染质量与图元数量直接相关，降低渲染质量只能通过裁剪图元实现，缺乏内在的可扩展性。这限制了其在带宽受限场景下的应用，例如需要根据网络状况动态调整渲染质量的场景。
核心思路：本文的核心思路是使用傅里叶编码来表示平面surfel的形状，从而实现可缩放的基元。通过调整傅里叶系数的截断数量，可以在运行时动态调整基元的复杂度，从而实现不同细节级别的渲染。这种方法允许单个训练模型适应不同的带宽限制，而无需重新训练或裁剪图元。
技术框架：该方法主要包含以下几个模块：1) 使用傅里叶编码参数化平面surfel，得到可缩放的基元。2) 使用直通估计器（straight-through estimator）来扩展梯度到基元边界之外，以促进稳定的优化。3) 引入HYDRA密度化策略，在MCMC框架内将复杂基元分解为更简单的成分。4) 使用标准的辐射场渲染流程，将基元渲染到图像上。
关键创新：该方法最重要的技术创新点在于使用傅里叶编码来表示平面surfel的形状，从而实现了可缩放的基元。与现有方法相比，该方法可以在运行时动态调整基元的复杂度，而无需重新训练或裁剪图元。此外，HYDRA密度化策略也能够有效地将复杂基元分解为更简单的成分，从而提高渲染质量。
关键设计：在傅里叶编码方面，需要选择合适的基函数和截断频率。在直通估计器方面，需要设计合适的梯度扩展策略。在HYDRA密度化策略方面，需要设计合适的分解规则和MCMC采样方法。损失函数方面，可以使用标准的辐射场渲染损失函数，例如L1损失或PSNR损失。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Fourier Splatting在平面基元框架中实现了最先进的渲染质量，并且在标准基准测试中，与领先的体积表示相比，具有相当的感知指标。具体来说，该方法在合成数据集和真实数据集上都取得了良好的效果，并且在带宽受限的情况下，能够提供比现有方法更好的用户体验。
🎯 应用场景
该研究成果可应用于带宽受限的高保真渲染场景，例如移动设备上的实时渲染、云游戏、远程协作等。通过动态调整渲染质量，可以在有限的带宽下提供最佳的用户体验。此外，该方法还可以应用于三维重建、虚拟现实、增强现实等领域。
📄 摘要（原文）
Novel view synthesis has recently been revolutionized by 3D Gaussian Splatting (3DGS), which enables real-time rendering through explicit primitive rasterization. However, existing methods tie visual fidelity strictly to the number of primitives: quality downscaling is achieved only through pruning primitives. We propose the first inherently scalable primitive for radiance field rendering. Fourier Splatting employs scalable primitives with arbitrary closed shapes obtained by parameterizing planar surfels with Fourier encoded descriptors. This formulation allows a single trained model to be rendered at varying levels of detail simply by truncating Fourier coefficients at runtime. To facilitate stable optimization, we employ a straight-through estimator for gradient extension beyond the primitive boundary, and introduce HYDRA, a densification strategy that decomposes complex primitives into simpler constituents within the MCMC framework. Our method achieves state-of-the-art rendering quality among planar-primitive frameworks and comparable perceptual metrics compared to leading volumetric representations on standard benchmarks, providing a versatile solution for bandwidth-constrained high-fidelity rendering.