BeSplat: Gaussian Splatting from a Single Blurry Image and Event Stream
作者: Gopi Raju Matta, Reddypalli Trisha, Kaushik Mitra
分类: cs.CV
发布日期: 2024-12-26 (更新: 2025-01-05)
备注: Accepted for publication at EVGEN2025, WACV-25 Workshop
💡 一句话要点
BeSplat：从单张模糊图像和事件流重建高斯溅射场景
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高斯溅射 事件相机 运动模糊 三维重建 神经渲染
📋 核心要点
- 传统神经辐射场训练时间长、渲染速度慢，3D高斯溅射有效解决了这些问题，同时保持了高质量的重建效果。
- BeSplat的核心思想是联合优化高斯溅射场景表示和相机运动估计，利用事件流的时间信息来解开模糊图像中的运动信息。
- 实验结果表明，BeSplat能够从单张模糊图像和事件流中重建出清晰的场景，并在视角一致性方面表现良好。
📝 摘要（中文）
本文提出BeSplat，一种从单张运动模糊图像及其对应的事件流中恢复清晰辐射场（高斯溅射）的方法。该方法通过Bezier SE(3)公式有效地联合学习场景表示（高斯溅射）并恢复相机运动，从而最小化合成模糊图像和事件流与真实世界测量值之间的差异。我们在合成和真实数据集上评估了该方法，展示了其从学习到的辐射场和估计的相机轨迹中渲染视角一致的清晰图像的能力。据我们所知，这是第一个在高斯溅射框架中解决这个极具挑战性的病态问题，并有效结合使用事件流捕获的时间信息的工作。
🔬 方法详解
问题定义：论文旨在解决从单张运动模糊图像和对应的事件流中重建清晰的3D场景的问题。现有的神经辐射场方法通常需要多张清晰图像作为输入，而单张模糊图像重建是一个病态问题，难以获得高质量的结果。
核心思路：论文的核心思路是利用事件相机提供的时间信息来辅助解模糊过程。事件相机能够捕捉场景中像素亮度变化的异步事件，这些事件对运动非常敏感，可以用来估计相机的运动轨迹，从而帮助恢复清晰的场景表示。同时，使用高斯溅射作为场景表示，可以实现快速渲染和高质量重建。
技术框架：BeSplat的整体框架包括以下几个主要模块：1) 高斯溅射场景表示：使用3D高斯分布来表示场景中的点，每个高斯分布包含位置、协方差、颜色和透明度等参数。2) 相机运动估计：使用Bezier SE(3)曲线来参数化相机的运动轨迹，通过优化Bezier曲线的控制点来估计相机在每个时刻的位姿。3) 图像渲染：使用可微分的渲染器将高斯溅射投影到图像平面上，生成合成的模糊图像。4) 事件流模拟：根据估计的相机运动和场景几何，模拟事件相机产生的事件流。5) 损失函数：设计损失函数来衡量合成图像和事件流与真实数据的差异，并优化高斯溅射参数和相机运动轨迹。
关键创新：该论文的关键创新在于将高斯溅射和事件流结合起来，用于解决单张模糊图像的3D重建问题。这是首次在高斯溅射框架下利用事件流的时间信息来解开运动模糊，从而实现高质量的场景重建。
关键设计：论文的关键设计包括：1) 使用Bezier SE(3)曲线来参数化相机运动，可以保证运动轨迹的光滑性。2) 设计了专门的损失函数来衡量合成模糊图像和事件流与真实数据的差异，包括图像重建损失、事件重建损失和正则化项。3) 使用可微分的渲染器来实现快速和高质量的图像渲染。
🖼️ 关键图片
📊 实验亮点
在合成和真实数据集上的实验结果表明，BeSplat能够从单张模糊图像和事件流中重建出清晰的场景，并在视角一致性方面表现良好。与直接使用模糊图像进行重建的方法相比，BeSplat能够显著提高重建质量，并减少伪影。定量结果表明，BeSplat在PSNR和SSIM等指标上均优于其他基线方法。
🎯 应用场景
BeSplat技术在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。例如，在光线不足或快速运动的场景下，传统的视觉里程计方法容易失效，而BeSplat可以利用事件流提供的时间信息来提高位姿估计的鲁棒性。此外，该技术还可以用于从单张模糊图像中重建3D场景，为虚拟现实和游戏开发提供新的可能性。
📄 摘要（原文）
Novel view synthesis has been greatly enhanced by the development of radiance field methods. The introduction of 3D Gaussian Splatting (3DGS) has effectively addressed key challenges, such as long training times and slow rendering speeds, typically associated with Neural Radiance Fields (NeRF), while maintaining high-quality reconstructions. In this work (BeSplat), we demonstrate the recovery of sharp radiance field (Gaussian splats) from a single motion-blurred image and its corresponding event stream. Our method jointly learns the scene representation via Gaussian Splatting and recovers the camera motion through Bezier SE(3) formulation effectively, minimizing discrepancies between synthesized and real-world measurements of both blurry image and corresponding event stream. We evaluate our approach on both synthetic and real datasets, showcasing its ability to render view-consistent, sharp images from the learned radiance field and the estimated camera trajectory. To the best of our knowledge, ours is the first work to address this highly challenging ill-posed problem in a Gaussian Splatting framework with the effective incorporation of temporal information captured using the event stream.