DARB-Splatting: Generalizing Splatting with Decaying Anisotropic Radial Basis Functions

📄 arXiv: 2501.12369v2 📥 PDF

作者: Vishagar Arunan, Saeedha Nazar, Hashiru Pramuditha, Vinasirajan Viruthshaan, Sameera Ramasinghe, Simon Lucey, Ranga Rodrigo

分类: cs.CV, cs.AI, cs.GR

发布日期: 2025-01-21 (更新: 2025-04-21)

备注: Link to the project page: https://randomnerds.github.io/darbs.github.io/

💡 一句话要点

提出基于衰减各向异性径向基函数（DARB）的Splatting方法，加速训练并降低内存消耗。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 Splatting 高斯Splatting 径向基函数 新视角合成

📋 核心要点

  1. 现有Splatting方法主要依赖高斯函数等指数族函数作为重建核，限制了对更广泛重建核的探索。
  2. 论文提出使用衰减各向异性径向基函数（DARBFs）作为Splatting的重建核，近似高斯函数的积分优势。
  3. 实验表明，使用DARBFs可以在保持性能的同时，显著加速训练并降低内存消耗。

📝 摘要（中文）

基于Splatting的3D重建方法，特别是3D高斯Splatting，因其高效合成高质量新视角而备受欢迎。这些方法通常使用指数族函数（如高斯函数）作为重建核，因为它们具有各向异性、易于投影和光栅化中的可微性。然而，该领域的研究主要集中在指数族函数的变体上，对广义重建核的探索不足，部分原因是3D到2D投影的积分计算困难。本文提出一类衰减各向异性径向基函数（DARBFs），它是Mahalanobis距离的非负函数，通过近似高斯函数的闭式积分优势来支持Splatting。实验结果表明，使用不同的DARB重建核，训练速度提高了34%，内存消耗降低了45%，同时保持了相当的PSNR、SSIM和LPIPS指标。

🔬 方法详解

问题定义：现有的基于Splatting的3D重建方法，特别是3D高斯Splatting，主要使用高斯函数作为重建核。虽然高斯函数具有良好的性质，如各向异性、易于投影和可微性，但限制了对其他类型重建核的探索。缺乏对更广义重建核的研究，阻碍了Splatting方法的进一步发展。

核心思路：论文的核心思路是利用一类衰减各向异性径向基函数（DARBFs）来替代高斯函数作为Splatting的重建核。DARBFs是Mahalanobis距离的非负函数，通过设计合适的DARBFs，可以近似高斯函数的闭式积分优势，从而实现高效的3D到2D投影。这种方法旨在扩展Splatting方法中重建核的选择范围，并探索更高效的重建方式。

技术框架：该方法沿用了Splatting的整体框架，主要包括以下几个阶段：1）场景表示：使用3D高斯分布来表示场景；2）投影：将3D高斯分布投影到2D图像平面；3）光栅化：将投影后的2D高斯分布进行光栅化，生成图像；4）优化：通过比较渲染图像与真实图像之间的差异，优化3D高斯分布的参数。该方法的主要改进在于将高斯函数替换为DARBFs作为重建核，并相应地修改了投影和光栅化过程。

关键创新：该方法最重要的技术创新点在于提出了使用DARBFs作为Splatting的重建核。与现有方法仅使用高斯函数不同，该方法探索了更广泛的函数空间，为Splatting方法提供了更多的灵活性和可能性。DARBFs的选择允许在训练速度和内存消耗之间进行权衡，从而实现更高效的3D重建。

关键设计：论文中关键的设计包括：1）DARBFs的具体形式：选择了合适的DARBFs，使其能够近似高斯函数的闭式积分优势；2）投影过程的修改：根据DARBFs的性质，修改了3D到2D的投影过程，使其能够正确地计算DARBFs在2D图像平面上的投影；3）损失函数的选择：使用了标准的图像重建损失函数，如PSNR、SSIM和LPIPS，来优化3D高斯分布的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用DARBFs作为重建核可以在保持与高斯函数相当的PSNR、SSIM和LPIPS指标的同时，显著加速训练过程，最高可达34%，并降低内存消耗，最高可达45%。这些结果表明，DARBFs是一种有潜力的替代高斯函数的重建核，可以提高Splatting方法的效率。

🎯 应用场景

该研究成果可应用于各种需要高效3D重建和新视角合成的场景，例如虚拟现实、增强现实、机器人导航、自动驾驶、游戏开发等。通过降低内存消耗和加速训练过程，该方法可以使Splatting技术在资源受限的设备上运行，并加速3D内容的生成。

📄 摘要（原文）

Splatting-based 3D reconstruction methods have gained popularity with the advent of 3D Gaussian Splatting, efficiently synthesizing high-quality novel views. These methods commonly resort to using exponential family functions, such as the Gaussian function, as reconstruction kernels due to their anisotropic nature, ease of projection, and differentiability in rasterization. However, the field remains restricted to variations within the exponential family, leaving generalized reconstruction kernels largely underexplored, partly due to the lack of easy integrability in 3D to 2D projections. In this light, we show that a class of decaying anisotropic radial basis functions (DARBFs), which are non-negative functions of the Mahalanobis distance, supports splatting by approximating the Gaussian function's closed-form integration advantage. With this fresh perspective, we demonstrate up to 34% faster convergence during training and a 45% reduction in memory consumption across various DARB reconstruction kernels, while maintaining comparable PSNR, SSIM, and LPIPS results. We will make the code available.