HoloGS: Instant Depth-based 3D Gaussian Splatting with Microsoft HoloLens 2

📄 arXiv: 2405.02005v1 📥 PDF

作者: Miriam Jäger, Theodor Kapler, Michael Feßenbecker, Felix Birkelbach, Markus Hillemann, Boris Jutzi

分类: cs.CV

发布日期: 2024-05-03

备注: 8 pages, 9 figures, 2 tables. Will be published in the ISPRS The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences

💡 一句话要点

提出HoloGS以解决即时3D高斯点云重建问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 HoloLens 2 计算机视觉 增强现实 文化遗产保护 深度学习

📋 核心要点

  1. 现有的3D场景重建方法通常需要复杂的预处理步骤，如运动结构，这增加了计算负担和时间成本。
  2. HoloGS通过直接利用HoloLens 2的传感器数据，省略了预处理步骤，实现了即时的3D高斯点云重建。
  3. 实验结果显示，HoloGS在渲染质量和几何准确性方面表现优异，尤其在自捕获的文化遗产和植物场景中取得了良好的效果。

📝 摘要（中文）

在摄影测量、计算机视觉和计算机图形学领域，神经3D场景重建的任务促使了多种技术的探索。其中，3D高斯点云重建因其明确的场景表示而受到关注。本文提出HoloGS，利用Microsoft HoloLens 2的传感器数据，实现即时3D高斯点云重建，省去传统的运动结构预处理步骤。我们通过对训练过程和渲染质量的全面研究，评估了HoloLens数据在3D高斯点云初始化中的适用性，结果表明其在文化遗产雕像和精细结构植物的场景中表现良好。

🔬 方法详解

问题定义：本文旨在解决传统3D场景重建方法中存在的高计算负担和时间延迟问题，尤其是运动结构的预处理步骤。

核心思路：HoloGS通过直接利用HoloLens 2的传感器数据，快速获取所需的输入数据，从而实现即时的3D高斯点云重建，简化了流程。

技术框架：整体流程包括数据采集、输入数据的即时访问（RGB图像、相机姿态和深度点云）、高斯初始化和最终的点云渲染。

关键创新：HoloGS的主要创新在于其即时处理能力，利用HoloLens 2的深度传感器数据，避免了传统方法的复杂预处理，显著提高了效率。

关键设计：在参数设置上，使用了Chamfer距离来评估几何3D准确性，并通过峰值信噪比评估渲染质量，确保了高质量的输出。实验中采用了自捕获的场景进行验证，确保了方法的实用性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HoloGS在渲染质量和几何准确性方面均优于传统方法，具体表现为峰值信噪比和Chamfer距离的显著改善，验证了HoloLens数据在3D高斯点云重建中的有效性。

🎯 应用场景

HoloGS的研究成果在文化遗产保护、室内外环境建模和增强现实等领域具有广泛的应用潜力。其即时3D重建能力可以为虚拟现实和增强现实应用提供高质量的场景数据，推动相关技术的发展和应用。

📄 摘要（原文）

In the fields of photogrammetry, computer vision and computer graphics, the task of neural 3D scene reconstruction has led to the exploration of various techniques. Among these, 3D Gaussian Splatting stands out for its explicit representation of scenes using 3D Gaussians, making it appealing for tasks like 3D point cloud extraction and surface reconstruction. Motivated by its potential, we address the domain of 3D scene reconstruction, aiming to leverage the capabilities of the Microsoft HoloLens 2 for instant 3D Gaussian Splatting. We present HoloGS, a novel workflow utilizing HoloLens sensor data, which bypasses the need for pre-processing steps like Structure from Motion by instantly accessing the required input data i.e. the images, camera poses and the point cloud from depth sensing. We provide comprehensive investigations, including the training process and the rendering quality, assessed through the Peak Signal-to-Noise Ratio, and the geometric 3D accuracy of the densified point cloud from Gaussian centers, measured by Chamfer Distance. We evaluate our approach on two self-captured scenes: An outdoor scene of a cultural heritage statue and an indoor scene of a fine-structured plant. Our results show that the HoloLens data, including RGB images, corresponding camera poses, and depth sensing based point clouds to initialize the Gaussians, are suitable as input for 3D Gaussian Splatting.