EvFlow-GS: Event Enhanced Motion Deblurring with Optical Flow for 3D Gaussian Splatting

📄 arXiv: 2604.22183v1 📥 PDF

作者: Feiyu An, Yufei Deng, Zihui Zhang, Rong Xiao

分类: cs.CV

发布日期: 2026-04-24

备注: Accepted by ICME 2026

💡 一句话要点

EvFlow-GS：利用事件相机与光流增强的3D高斯溅射运动去模糊

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 事件相机 运动去模糊 3D高斯溅射 光流 三维重建 事件残差先验 可学习双重积分

📋 核心要点

  1. 运动模糊图像的3D重建面临挑战，现有方法依赖事件相机，但易受不准确的事件双重积分先验和噪声事件的影响，导致伪影和纹理模糊。
  2. EvFlow-GS通过联合优化可学习的双重积分、相机姿态和3D高斯溅射，并结合事件流和光流，实现更清晰的3D重建。
  3. 实验结果表明，EvFlow-GS在运动去模糊和3D重建任务上表现出色，优于现有方法，证明了该框架的有效性。

📝 摘要（中文）

本文提出EvFlow-GS，一个统一的框架，利用事件流和光流来优化端到端可学习的双重积分(LDI)、相机姿态和3D高斯溅射(3DGS)。该方法首先利用光流从事件中提取边缘信息，然后构建一种新颖的基于事件的损失，分别应用于不同的模块。此外，本文还利用一种新颖的事件残差先验来加强对3DGS渲染图像之间强度变化的监督。最后，将3DGS和LDI的输出集成到一个联合损失中，使它们的优化能够相互促进。实验结果表明，EvFlow-GS具有领先的性能。

🔬 方法详解

问题定义：论文旨在解决从运动模糊图像中进行高质量3D重建的问题。现有方法，特别是那些依赖事件相机的方法，虽然利用了事件相机的高时间分辨率，但往往受到不准确的事件双重积分先验和噪声事件的影响，导致重建结果中存在残余伪影和模糊的纹理细节。这些问题限制了3D重建的质量和实用性。

核心思路：EvFlow-GS的核心思路是利用事件流和光流的互补信息，共同优化可学习的双重积分(LDI)、相机姿态和3D高斯溅射(3DGS)。通过光流提取事件边缘信息，并设计基于事件的损失函数，从而更有效地利用事件数据。同时，引入事件残差先验，加强对渲染图像强度变化的监督，提升重建质量。

技术框架：EvFlow-GS框架包含以下主要模块：1) 事件流和光流提取模块：用于从事件数据中提取边缘信息，并计算图像序列的光流。2) 可学习双重积分(LDI)模块：用于估计场景的运动信息。3) 3D高斯溅射(3DGS)模块：用于表示和渲染3D场景。4) 联合优化模块：通过联合损失函数，同时优化LDI、相机姿态和3DGS参数。整体流程是从事件流和图像序列中提取信息，然后通过联合优化，逐步提升3D重建的质量。

关键创新：该论文的关键创新在于：1) 提出了一种新颖的基于事件的损失函数，该函数利用光流提取的事件边缘信息，更有效地指导模型学习。2) 引入了一种事件残差先验，加强了对渲染图像强度变化的监督，从而减少了伪影和模糊。3) 提出了一个统一的框架，将事件流、光流、LDI和3DGS集成在一起，实现端到端的优化。

关键设计：论文的关键设计包括：1) 基于光流的事件边缘提取方法，用于从事件数据中提取更准确的边缘信息。2) 事件残差先验的构建方式，用于加强对渲染图像强度变化的监督。3) 联合损失函数的设计，该函数结合了3DGS渲染损失、LDI损失和事件损失，从而实现LDI和3DGS的相互促进优化。具体的参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EvFlow-GS在合成和真实数据集上均取得了领先的性能。相较于现有方法，EvFlow-GS能够显著减少运动模糊和伪影，并生成更清晰的纹理细节。具体而言，在定量指标上，EvFlow-GS在PSNR和SSIM等指标上均取得了显著提升，证明了其在运动去模糊和3D重建方面的优越性。

🎯 应用场景

EvFlow-GS在机器人导航、自动驾驶、虚拟现实和增强现实等领域具有广泛的应用前景。高质量的3D重建可以帮助机器人更好地理解周围环境，从而实现更安全、更高效的导航。在自动驾驶领域，该技术可以用于构建更精确的场景模型，提高驾驶安全性。在VR/AR领域，该技术可以用于创建更逼真的虚拟场景，提升用户体验。

📄 摘要（原文）

Achieving sharp 3D reconstruction from motion-blurred images alone becomes challenging, motivating recent methods to incorporate event cameras, benefiting from microsecond temporal resolution. However, they suffer from residual artifacts and blurry texture details due to misleading supervision from inaccurate event double integral priors and noisy, blurry events. In this study, we propose EvFlow-GS, a unified framework that leverages event streams and optical flow to optimize an end-to-end learnable double integral (LDI), camera poses, and 3D Gaussian Splatting (3DGS) jointly on-the-fly. Specifically, we first extract edge information from the events using optical flow and then formulate a novel event-based loss applied separately to different modules. Additionally, we exploit a novel event-residual prior to strengthen the supervision of intensity changes between images rendered from 3DGS. Finally, we integrate the outputs of both 3DGS and LDI into a joint loss, enabling their optimization to mutually facilitate each other. Experiments demonstrate the leading performance of our EvFlow-GS.