EaDeblur-GS: Event assisted 3D Deblur Reconstruction with Gaussian Splatting

📄 arXiv: 2407.13520v3 📥 PDF

作者: Yuchen Weng, Zhengwen Shen, Ruofan Chen, Qi Wang, Jun Wang

分类: cs.CV

发布日期: 2024-07-18 (更新: 2024-09-05)

💡 一句话要点

EaDeblur-GS：利用事件相机数据和高斯溅射实现运动模糊场景下的3D重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 运动模糊 事件相机 高斯溅射 神经辐射场

📋 核心要点

  1. 现有NeRF和3DGS方法在严重模糊和复杂运动下重建效果不佳，鲁棒性不足。
  2. EaDeblur-GS融合事件相机数据，利用自适应偏差估计器预测高斯中心偏差，提升重建质量。
  3. 实验表明，EaDeblur-GS能实时重建清晰的3D模型，性能媲美现有最优方法。

📝 摘要（中文）

本文提出了一种名为EaDeblur-GS的事件辅助3D去模糊重建方法，该方法利用高斯溅射（3DGS）技术。尽管现有的基于神经辐射场（NeRF）和3DGS的技术在从模糊图像输入中恢复相对清晰的3D重建方面取得了显著进展，但它们在处理严重模糊和复杂相机运动时仍然面临局限性。为了解决这些问题，EaDeblur-GS集成了事件相机数据，以增强3DGS对运动模糊的鲁棒性。通过采用自适应偏差估计器（ADE）网络来估计高斯中心偏差，并使用新的损失函数，EaDeblur-GS实现了实时的清晰3D重建，其性能与最先进的方法相当。

🔬 方法详解

问题定义：论文旨在解决运动模糊场景下的3D重建问题。现有的NeRF和3DGS方法在处理剧烈运动模糊时，重建质量会显著下降，难以获得清晰的3D模型。这是因为运动模糊导致图像信息损失，使得网络难以准确估计场景的几何结构和外观信息。

核心思路：论文的核心思路是利用事件相机提供的高时间分辨率信息来辅助3DGS的重建过程。事件相机对光强变化敏感，即使在运动模糊的情况下也能捕捉到场景的动态信息。通过将事件信息融入到3DGS的优化过程中，可以有效地缓解运动模糊带来的影响，从而提高重建质量。

技术框架：EaDeblur-GS的整体框架包括以下几个主要模块：1) 事件数据预处理：对事件数据进行滤波和去噪处理，提取有效的运动信息。2) 自适应偏差估计器（ADE）：使用ADE网络估计高斯中心由于运动模糊产生的偏差。该网络以事件数据和图像数据作为输入，预测每个高斯中心在空间中的偏移量。3) 3DGS优化：将估计的偏差信息融入到3DGS的优化过程中，通过最小化渲染图像与真实图像之间的差异，以及其他正则化项，来优化高斯参数。

关键创新：该方法最关键的创新在于将事件相机数据与3DGS相结合，并提出了自适应偏差估计器（ADE）网络。与传统的图像去模糊方法不同，该方法直接在3D空间中进行去模糊重建，避免了中间图像恢复步骤带来的信息损失。此外，ADE网络能够自适应地估计高斯中心的偏差，从而更准确地建模运动模糊的影响。

关键设计：ADE网络采用U-Net结构，以事件图像和模糊图像作为输入，输出每个高斯中心在三个坐标轴上的偏差量。损失函数包括渲染损失、事件一致性损失和正则化损失。渲染损失用于约束渲染图像与真实图像之间的差异，事件一致性损失用于约束估计的偏差与事件数据之间的一致性，正则化损失用于防止过拟合。此外，论文还采用了自适应学习率调整策略，以加速优化过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EaDeblur-GS在合成和真实数据集上均取得了显著的性能提升。在合成数据集上，EaDeblur-GS的PSNR和SSIM指标均优于现有的NeRF和3DGS方法。在真实数据集上，EaDeblur-GS能够重建出更加清晰和准确的3D模型，尤其是在运动模糊较为严重的场景中。与state-of-the-art方法相比，EaDeblur-GS在重建质量和运行效率方面都具有优势。

🎯 应用场景

EaDeblur-GS在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。在这些场景中，运动模糊是常见的问题，会严重影响视觉系统的性能。EaDeblur-GS能够有效地缓解运动模糊的影响，提高3D重建的精度和鲁棒性，从而提升相关系统的性能和可靠性。未来，该技术有望应用于更复杂的动态场景中，例如高速运动物体的跟踪和重建。

📄 摘要（原文）

3D deblurring reconstruction techniques have recently seen significant advancements with the development of Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS). Although these techniques can recover relatively clear 3D reconstructions from blurry image inputs, they still face limitations in handling severe blurring and complex camera motion. To address these issues, we propose Event-assisted 3D Deblur Reconstruction with Gaussian Splatting (EaDeblur-GS), which integrates event camera data to enhance the robustness of 3DGS against motion blur. By employing an Adaptive Deviation Estimator (ADE) network to estimate Gaussian center deviations and using novel loss functions, EaDeblur-GS achieves sharp 3D reconstructions in real-time, demonstrating performance comparable to state-of-the-art methods.