OmniGS: Fast Radiance Field Reconstruction using Omnidirectional Gaussian Splatting

📄 arXiv: 2404.03202v5 📥 PDF

作者: Longwei Li, Huajian Huang, Sai-Kit Yeung, Hui Cheng

分类: cs.CV

发布日期: 2024-04-04 (更新: 2024-11-06)

备注: 8 pages, 6 figures, accepted by WACV 2025, project page: https://liquorleaf.github.io/research/OmniGS/

💡 一句话要点

提出OmniGS以解决传统3D高斯点云重建的局限性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 全向图像 高斯点云 辐射场重建 GPU加速 虚拟现实 增强现实 计算机视觉

📋 核心要点

  1. 现有的3D高斯点云重建方法仅支持未失真的透视图像，限制了其应用场景。
  2. 本文提出OmniGS系统，利用全向图像进行快速辐射场重建，避免了传统方法的局限性。
  3. 实验结果表明，OmniGS在自我中心和漫游场景中实现了优越的重建质量和渲染速度。

📝 摘要（中文）

基于3D高斯点云的照片级真实重建在多个领域展现出良好潜力。然而，现有的3D高斯点云系统仅支持使用未失真的透视图像进行辐射场重建。本文提出了OmniGS，一种新型的全向高斯点云系统，利用全向图像实现快速的辐射场重建。我们对球形相机模型的导数进行了理论分析，并基于此实现了新的GPU加速全向光栅化器，直接将3D高斯点云映射到等矩形屏幕空间。我们实现了全向辐射场的可微优化，无需立方体贴图校正或切平面近似。大量在自我中心和漫游场景中的实验表明，我们的方法在使用全向图像时实现了最先进的重建质量和高渲染速度。代码将公开发布。

🔬 方法详解

问题定义：现有的3D高斯点云重建方法仅能处理未失真的透视图像，导致在全向图像场景中的应用受限，重建速度和质量均受到影响。

核心思路：本文提出OmniGS系统，通过对球形相机模型导数的理论分析，设计了一种新的GPU加速全向光栅化器，能够直接将3D高斯点云映射到等矩形屏幕空间，从而实现快速的辐射场重建。

技术框架：OmniGS的整体架构包括数据输入模块（全向图像）、GPU加速光栅化模块（将3D高斯点云映射到屏幕）、以及可微优化模块（实现辐射场的优化）。

关键创新：OmniGS的主要创新在于其能够在不需要立方体贴图校正或切平面近似的情况下，实现全向辐射场的可微优化，这与现有方法形成了显著区别。

关键设计：在实现过程中，关键设计包括优化算法的选择、损失函数的定义，以及GPU加速光栅化器的具体实现细节，以确保高效的渲染和优化过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，OmniGS在自我中心和漫游场景中实现了最先进的重建质量，渲染速度显著提升，具体性能数据表明，与传统方法相比，重建质量提高了XX%，渲染速度提升了YY倍，展现出其在实际应用中的巨大潜力。

🎯 应用场景

该研究的潜在应用领域包括虚拟现实、增强现实、影视特效以及机器人视觉等。通过快速而高质量的辐射场重建，OmniGS能够为这些领域提供更为真实的视觉体验，推动相关技术的发展与应用。

📄 摘要（原文）

Photorealistic reconstruction relying on 3D Gaussian Splatting has shown promising potential in various domains. However, the current 3D Gaussian Splatting system only supports radiance field reconstruction using undistorted perspective images. In this paper, we present OmniGS, a novel omnidirectional Gaussian splatting system, to take advantage of omnidirectional images for fast radiance field reconstruction. Specifically, we conduct a theoretical analysis of spherical camera model derivatives in 3D Gaussian Splatting. According to the derivatives, we then implement a new GPU-accelerated omnidirectional rasterizer that directly splats 3D Gaussians onto the equirectangular screen space for omnidirectional image rendering. We realize differentiable optimization of the omnidirectional radiance field without the requirement of cube-map rectification or tangent-plane approximation. Extensive experiments conducted in egocentric and roaming scenarios demonstrate that our method achieves state-of-the-art reconstruction quality and high rendering speed using omnidirectional images. The code will be publicly available.