Gaussian Wave Splatting for Computer-Generated Holography

📄 arXiv: 2505.06582v1 📥 PDF

作者: Suyeon Choi, Brian Chao, Jacqueline Yang, Manu Gopakumar, Gordon Wetzstein

分类: cs.GR, physics.comp-ph, physics.optics

发布日期: 2025-05-10

备注: Project page with more details: https://bchao1.github.io/gaussian-wave-splatting/

💡 一句话要点

提出高斯波溅射算法，利用神经渲染高斯表示生成高质量全息图

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 计算机生成全息图 神经渲染 高斯表示 全息显示 波溅射

📋 核心要点

  1. 传统CGH算法难以处理复杂场景的遮挡和视角相关效果，导致全息图真实感不足。
  2. 高斯波溅射算法利用神经渲染的高斯场景表示，推导出高斯到全息图变换的闭式解，支持精确遮挡和Alpha混合。
  3. 该算法在傅里叶域进行高效近似，易于并行化，并通过CUDA内核实现，加速全息图生成。

📝 摘要（中文）

本文基于神经渲染方法优化得到的高斯场景表示，提出了一种高效的算法，称为高斯波溅射（Gaussian Wave Splatting），用于将这些高斯分布转换为全息图。与现有的计算机生成全息图（CGH）算法不同，高斯波溅射利用神经渲染的最新进展，支持精确的遮挡和视角相关的效果，从而实现逼真的场景。具体而言，我们推导出了一个支持遮挡和Alpha混合的二维高斯到全息图变换的闭式解。受经典计算机图形学技术的启发，我们还在傅里叶域中推导出了上述过程的有效近似，该近似易于并行化，并使用自定义CUDA内核实现。通过将新兴的神经渲染流程与全息显示技术相结合，我们的基于高斯的CGH框架为下一代全息显示器铺平了道路。

🔬 方法详解

问题定义：现有的计算机生成全息图（CGH）算法在处理复杂场景时，难以准确模拟遮挡和视角相关的效果，导致生成的全息图真实感不足。尤其是在利用传统方法从三维模型生成全息图时，计算复杂度高，难以实时生成高质量的全息图。

核心思路：本文的核心思路是利用近年来兴起的神经渲染技术，特别是基于高斯分布的场景表示方法。通过将场景表示为一系列高斯分布，并推导出高斯分布到全息图的变换公式，可以有效地模拟遮挡和视角相关的效果。此外，通过在傅里叶域进行近似计算，可以显著提高计算效率。

技术框架：该方法主要包含以下几个阶段：1) 利用神经渲染技术，从少量照片中优化得到场景的高斯表示。2) 推导二维高斯分布到全息图的变换公式，该公式支持遮挡和Alpha混合。3) 在傅里叶域中对上述变换进行近似计算，以提高计算效率。4) 使用自定义CUDA内核实现并行计算，进一步加速全息图的生成。

关键创新：该方法最重要的创新点在于将神经渲染的高斯表示与全息图生成相结合，并推导出了高斯分布到全息图变换的闭式解。与传统的CGH算法相比，该方法能够更准确地模拟遮挡和视角相关的效果，从而生成更逼真的全息图。此外，在傅里叶域进行近似计算和使用CUDA内核进行并行计算，显著提高了计算效率。

关键设计：该方法的一个关键设计是在傅里叶域中对高斯到全息图的变换进行近似计算。具体而言，该方法利用傅里叶变换的性质，将高斯函数的傅里叶变换表示为一个简单的函数形式，从而避免了复杂的数值积分。此外，该方法还使用了自定义CUDA内核，以实现高效的并行计算。损失函数的设计未知。

📊 实验亮点

论文提出的高斯波溅射算法能够生成具有精确遮挡和视角相关效果的全息图，显著提升了全息图的真实感。通过在傅里叶域进行近似计算和使用CUDA内核进行并行计算，该算法能够高效地生成全息图，为实时全息显示提供了可能。具体的性能数据和对比基线未知。

🎯 应用场景

该研究成果可应用于下一代全息显示技术，例如全息投影、全息眼镜等。通过提供更逼真、更具沉浸感的三维显示效果，有望在虚拟现实、增强现实、游戏、教育、医疗等领域发挥重要作用。此外，该方法还可以用于生成用于全息存储的全息图。

📄 摘要（原文）

State-of-the-art neural rendering methods optimize Gaussian scene representations from a few photographs for novel-view synthesis. Building on these representations, we develop an efficient algorithm, dubbed Gaussian Wave Splatting, to turn these Gaussians into holograms. Unlike existing computer-generated holography (CGH) algorithms, Gaussian Wave Splatting supports accurate occlusions and view-dependent effects for photorealistic scenes by leveraging recent advances in neural rendering. Specifically, we derive a closed-form solution for a 2D Gaussian-to-hologram transform that supports occlusions and alpha blending. Inspired by classic computer graphics techniques, we also derive an efficient approximation of the aforementioned process in the Fourier domain that is easily parallelizable and implement it using custom CUDA kernels. By integrating emerging neural rendering pipelines with holographic display technology, our Gaussian-based CGH framework paves the way for next-generation holographic displays.