Fast Wave-optics Rendering of Multiplane Images for 3D Holographic Displays
作者: Brian Chao, Dario Seyb, Nathan Matsuda, Oliver Cossairt, Yang Zhou, Douglas Lanman, Gordon Wetzstein, Grace Kuo, Changwon Jang
分类: cs.GR, cs.ET, cs.MM, eess.IV, eess.SP
发布日期: 2026-07-22
💡 一句话要点
提出波光学渲染管道以高效合成3D全息图
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 波光学 全息图合成 多平面图像 3D渲染 神经渲染 虚拟现实 增强现实
📋 核心要点
- 现有的3D渲染方法在呈现时通常局限于2D图像，无法充分利用新兴的3D显示技术，导致沉浸感不足。
- 本文提出了一种基于多平面图像的波光学渲染管道，旨在高效合成高质量的全息图，以适应新型3D显示技术。
- 实验结果表明，该方法在运行速度上相比现有技术有显著提升，同时在图像质量上也表现优异，验证了其有效性。
📝 摘要（中文）
近年来，神经渲染的进展使得3D重建和新视角合成能力大幅提升，然而这些渲染通常在计算机屏幕或传统VR头显上以2D图像呈现，限制了感知真实感和沉浸感。本文提出了一种波光学渲染管道，专门针对多平面图像（MPI）进行高效且高质量的全息图合成。与现有的基于原始的计算机生成全息（CGH）算法相比，我们的方法在运行时间上实现了高达250,000倍的加速，同时保持了相当的图像质量，并且在图像质量上显著优于传统的基于层的CGH算法。我们在多种3D场景数据集上进行了广泛验证，展示了卓越的3D焦点堆栈和4D光场重建性能，且没有牺牲效率。
🔬 方法详解
问题定义：本文旨在解决现有3D渲染方法在全息图合成中的效率和质量问题。现有基于原始的CGH算法在运行时间和图像质量上存在不足，限制了其应用。
核心思路：论文提出的波光学渲染管道利用多平面图像（MPI）进行高效的全息图合成，旨在通过优化算法实现快速渲染和高质量输出。
技术框架：整体架构包括数据输入、MPI处理、波光学渲染和全息图生成四个主要模块。每个模块协同工作，以确保高效的渲染过程。
关键创新：最重要的创新在于提出了一种新的MPI基础的CGH算法，该算法在运行速度上实现了前所未有的提升，与传统方法相比，速度提升可达250,000倍，同时保持图像质量。
关键设计：在设计中，采用了优化的参数设置和损失函数，以确保在高效渲染的同时不牺牲图像的细节和质量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的波光学渲染管道在运行速度上相比于现有的基于原始的CGH算法提升高达250,000倍，同时在图像质量方面表现出色，显著优于传统的基于层的CGH算法，验证了其在多种3D场景数据集上的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和全息显示等新兴技术。通过高效的全息图合成方法，可以在这些领域中实现更高的沉浸感和真实感，推动相关技术的发展和应用。
📄 摘要（原文）
Recent advances in neural rendering have unlocked unprecedented capabilities in 3D reconstruction and novel view synthesis, giving rise to applications such as virtual fly-throughs of a 3D scene reconstructed from a set of sparse, casually captured images. However, these renderings are viewed on a computer screen or conventional VR headsets as 2D images, greatly limiting the perceptual realism and immersiveness of such experiences. The rapid development in novel 3D scene representations calls for dedicated rendering algorithms that convert these readily-available 3D contents into formats that are compatible with emerging 3D display technologies, such as holographic displays. In this paper, we propose a wave-optics rendering pipeline that works with multiplane images (MPIs) for efficient and high-quality hologram synthesis. Our MPI-based computer-generated holography algorithm greatly outperforms state-of-the-art primitive-based CGH algorithms in terms of runtime, achieving speedups up to 250,000x while achieving comparable image quality, and significantly outperforms conventional layer-based CGH algorithms in terms of image quality. We validate our method extensively on a wide variety of 3D scene datasets both in simulation and through experimentally captured results, showing exceptional 3D focal stack and 4D light field reconstruction performance without sacrificing efficiency.