EGTM: Event-guided Efficient Turbulence Mitigation

📄 arXiv: 2509.03808v1 📥 PDF

作者: Huanan Li, Rui Fan, Juntao Guan, Weidong Hao, Lai Rui, Tong Wu, Yikai Wang, Lin Gu

分类: cs.CV

发布日期: 2025-09-04

💡 一句话要点

提出基于事件相机的EGTM框架，高效解决大气湍流图像恢复问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 湍流缓解 事件相机 图像恢复 幸运融合 异步视觉

📋 核心要点

  1. 传统湍流缓解方法依赖高容量网络从低帧率图像中学习，计算和存储效率低。
  2. 本文提出“事件幸运洞察”，利用事件相机高时间分辨率特性，从事件流中提取无湍流引导信息。
  3. 构建真实事件驱动湍流缓解数据集，实验表明EGTM在效率和恢复质量上均优于现有方法。

📝 摘要（中文）

本文提出了一种基于事件引导的高效湍流缓解(EGTM)框架，旨在解决传统帧相机在湍流缓解任务中计算和存储效率低下的问题。现有方法依赖于从多个退化帧中提取湍流线索，寻找“幸运”无畸变区域进行融合，但受限于帧率和网络容量。本文洞察到湍流畸变与事件流时空分布的反相关性，提出了“事件幸运洞察”。EGTM框架从事件流中提取像素级可靠的无湍流引导信息，用于时域幸运融合。此外，构建了首个湍流数据采集系统，贡献了首个真实事件驱动的湍流缓解数据集。实验结果表明，EGTM在模型大小、推理延迟和模型复杂度上分别优于现有SOTA方法710倍、214倍和224倍，同时在恢复质量上取得了SOTA水平（PSNR +0.94，SSIM +0.08）。

🔬 方法详解

问题定义：现有基于帧相机的湍流缓解方法需要处理由大气湍流引起的随机畸变和模糊。这些方法通常依赖于从多个退化帧中提取湍流线索，寻找“幸运”的、未失真的图像块进行融合。然而，由于帧相机的帧率限制，以及粗粒度的湍流动态，需要高容量的网络才能学习，导致计算和存储效率低下。

核心思路：本文的核心思路是利用事件相机的高时间分辨率和异步成像机制，来解决帧相机在湍流缓解任务中的效率瓶颈。通过揭示湍流畸变与事件流时空分布之间的反相关性（即“事件幸运洞察”），可以从事件流中提取可靠的、无湍流的引导信息。

技术框架：EGTM框架主要包含以下几个阶段：首先，利用事件相机获取湍流场景的事件流数据。然后，从事件流中提取像素级的无湍流引导信息。接着，利用这些引导信息进行时域幸运融合，从而恢复清晰的图像。整体架构旨在利用事件相机提供的精细时序信息，高效地缓解湍流影响。

关键创新：本文最重要的技术创新点在于提出了“事件幸运洞察”，并将其应用于湍流缓解任务中。与现有方法依赖帧间信息进行粗粒度湍流估计不同，EGTM直接利用事件流的时空分布特性，提取像素级的无湍流引导信息，从而实现了更高效和精确的湍流缓解。

关键设计：具体的技术细节包括：如何从事件流中提取可靠的无湍流引导信息（例如，通过分析事件的密度和分布）；如何设计时域幸运融合算法，以有效地利用这些引导信息；以及如何构建损失函数来优化网络的性能。此外，还包括针对事件数据的特殊处理方式，例如事件的表示方法和滤波等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EGTM在真实湍流数据集上取得了显著的性能提升。与现有SOTA方法相比，EGTM在模型大小上减少了710倍，推理延迟降低了214倍，模型复杂度降低了224倍，同时在恢复质量上取得了+0.94 PSNR和+0.08 SSIM的提升。这些结果表明，EGTM在效率和准确性方面均优于现有方法。

🎯 应用场景

该研究成果可应用于各种需要克服大气湍流影响的场景，例如远距离目标监控、天文观测、自动驾驶（尤其是在恶劣天气条件下）等。通过提高图像质量和清晰度，可以提升相关系统的性能和可靠性，具有重要的实际应用价值和潜在的商业前景。

📄 摘要（原文）

Turbulence mitigation (TM) aims to remove the stochastic distortions and blurs introduced by atmospheric turbulence into frame cameras. Existing state-of-the-art deep-learning TM methods extract turbulence cues from multiple degraded frames to find the so-called "lucky'', not distorted patch, for "lucky fusion''. However, it requires high-capacity network to learn from coarse-grained turbulence dynamics between synchronous frames with limited frame-rate, thus fall short in computational and storage efficiency. Event cameras, with microsecond-level temporal resolution, have the potential to fundamentally address this bottleneck with efficient sparse and asynchronous imaging mechanism. In light of this, we (i) present the fundamental \textbf{``event-lucky insight''} to reveal the correlation between turbulence distortions and inverse spatiotemporal distribution of event streams. Then, build upon this insight, we (ii) propose a novel EGTM framework that extracts pixel-level reliable turbulence-free guidance from the explicit but noisy turbulent events for temporal lucky fusion. Moreover, we (iii) build the first turbulence data acquisition system to contribute the first real-world event-driven TM dataset. Extensive experimental results demonstrate that our approach significantly surpass the existing SOTA TM method by 710 times, 214 times and 224 times in model size, inference latency and model complexity respectively, while achieving the state-of-the-art in restoration quality (+0.94 PSNR and +0.08 SSIM) on our real-world EGTM dataset. This demonstrating the great efficiency merit of introducing event modality into TM task. Demo code and data have been uploaded in supplementary material and will be released once accepted.