EBAD-Gaussian: Event-driven Bundle Adjusted Deblur Gaussian Splatting

📄 arXiv: 2504.10012v2 📥 PDF

作者: Yufei Deng, Yuanjian Wang, Rong Xiao, Chenwei Tang, Jizhe Zhou, Jiahao Fan, Deng Xiong, Jiancheng Lv, Huajin Tang

分类: cs.CV

发布日期: 2025-04-14 (更新: 2025-07-11)

💡 一句话要点

提出EBAD-Gaussian，利用事件相机和高斯溅射实现运动模糊场景下的高质量3D重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件相机 3D高斯溅射 运动模糊 场景重建 去模糊

📋 核心要点

  1. 现有基于RGB的去模糊方法难以建模曝光期间的相机姿态和辐射变化，导致运动模糊场景下3D高斯溅射重建精度下降。
  2. EBAD-Gaussian利用事件相机捕捉的连续亮度变化，联合优化3D高斯参数和相机运动轨迹，从而有效解决运动模糊问题。
  3. 实验结果表明，EBAD-Gaussian在合成和真实数据集上均能实现高质量的3D场景重建，显著优于现有方法。

📝 摘要（中文）

本文提出了一种事件驱动的Bundle Adjusted Deblur Gaussian Splatting (EBAD-Gaussian) 方法，用于从事件流和严重模糊的图像中重建清晰的3D高斯模型。该方法联合学习高斯模型的参数，并恢复曝光期间的相机运动轨迹。具体而言，首先构建一个模糊损失函数，通过合成曝光期间的多个潜在清晰图像，最小化真实模糊图像和合成模糊图像之间的差异。然后，利用事件流来监督曝光期间任何时刻潜在清晰图像之间的光强度变化，补充RGB图像中丢失的光强度动态变化。此外，基于事件的双重积分(EDI)先验优化中间曝光时间的潜在清晰图像，应用一致性约束来增强重建图像的细节和纹理信息。在合成和真实数据集上的大量实验表明，EBAD-Gaussian可以在模糊图像和事件流输入条件下实现高质量的3D场景重建。

🔬 方法详解

问题定义：论文旨在解决运动模糊场景下，传统基于RGB图像的3D高斯溅射重建方法性能下降的问题。现有方法难以准确估计曝光期间的相机运动和场景光照变化，导致重建的3D模型模糊不清，细节丢失。

核心思路：论文的核心思路是利用事件相机提供的时间分辨率更高的亮度变化信息，辅助RGB图像的去模糊和3D重建。通过事件流来监督曝光期间潜在清晰图像之间的光强度变化，从而更准确地建模相机运动和光照变化。

技术框架：EBAD-Gaussian的整体框架包括以下几个主要模块：1) 基于3D高斯溅射的场景表示；2) 基于事件流的亮度变化建模；3) 模糊损失函数构建，用于约束合成模糊图像与真实模糊图像的一致性；4) 基于事件双重积分(EDI)的先验约束，用于优化中间曝光时间的潜在清晰图像。整个框架通过联合优化高斯参数、相机运动轨迹和潜在清晰图像来实现高质量的3D重建。

关键创新：该方法最重要的创新点在于将事件相机的数据与3D高斯溅射相结合，利用事件流提供的时间分辨率更高的亮度变化信息来辅助去模糊和3D重建。与传统的基于RGB图像的去模糊方法相比，该方法能够更准确地建模相机运动和光照变化，从而获得更清晰的3D模型。

关键设计：关键设计包括：1) 模糊损失函数，通过渲染多个潜在清晰图像并进行模糊，与真实模糊图像进行比较，从而约束潜在清晰图像的质量；2) 基于事件流的亮度变化约束，利用事件流监督潜在清晰图像之间的光强度变化，补充RGB图像中丢失的信息；3) 基于EDI的先验约束，利用事件流计算的亮度变化信息来优化中间曝光时间的潜在清晰图像，增强细节和纹理信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在合成和真实数据集上的实验结果表明，EBAD-Gaussian能够显著提高运动模糊场景下的3D重建质量。与现有方法相比，该方法能够生成更清晰、更细节丰富的3D模型。具体性能提升数据（例如PSNR、SSIM等）在原文中给出，此处省略。

🎯 应用场景

EBAD-Gaussian在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。在这些场景中，快速运动或低光照条件下的运动模糊是常见的问题，该方法可以用于提高3D场景重建的质量和鲁棒性，从而提升相关系统的性能。

📄 摘要（原文）

While 3D Gaussian Splatting (3D-GS) achieves photorealistic novel view synthesis, its performance degrades with motion blur. In scenarios with rapid motion or low-light conditions, existing RGB-based deblurring methods struggle to model camera pose and radiance changes during exposure, reducing reconstruction accuracy. Event cameras, capturing continuous brightness changes during exposure, can effectively assist in modeling motion blur and improving reconstruction quality. Therefore, we propose Event-driven Bundle Adjusted Deblur Gaussian Splatting (EBAD-Gaussian), which reconstructs sharp 3D Gaussians from event streams and severely blurred images. This method jointly learns the parameters of these Gaussians while recovering camera motion trajectories during exposure time. Specifically, we first construct a blur loss function by synthesizing multiple latent sharp images during the exposure time, minimizing the difference between real and synthesized blurred images. Then we use event stream to supervise the light intensity changes between latent sharp images at any time within the exposure period, supplementing the light intensity dynamic changes lost in RGB images. Furthermore, we optimize the latent sharp images at intermediate exposure times based on the event-based double integral (EDI) prior, applying consistency constraints to enhance the details and texture information of the reconstructed images. Extensive experiments on synthetic and real-world datasets show that EBAD-Gaussian can achieve high-quality 3D scene reconstruction under the condition of blurred images and event stream inputs.