EGTM: Event-guided Efficient Turbulence Mitigation
作者: Huanan Li, Rui Fan, Juntao Guan, Weidong Hao, Lai Rui, Tong Wu, Yikai Wang, Lin Gu
分类: cs.CV
发布日期: 2025-09-04
💡 一句话要点
提出基于事件相机的EGTM框架，高效消除大气湍流影响，实现高质量图像复原。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 事件相机 湍流抑制 图像复原 事件幸运洞察 高效算法
📋 核心要点
- 传统湍流抑制方法依赖高容量网络学习帧间粗粒度湍流动态，计算和存储效率低。
- 利用事件相机高时间分辨率特性，提出“事件幸运洞察”，指导湍流抑制。
- EGTM框架在真实数据集上显著超越现有方法，模型效率提升显著，复原质量更优。
📝 摘要（中文）
本文提出了一种基于事件引导的高效湍流抑制(EGTM)框架，旨在消除大气湍流引起的图像畸变和模糊。现有方法依赖于从多帧图像中提取湍流信息，寻找未失真的“幸运”图像块进行融合，但由于帧率限制，需要高容量网络学习粗粒度的湍流动态，导致计算和存储效率低下。本文利用事件相机微秒级的时间分辨率和稀疏异步成像机制，提出了“事件幸运洞察”，揭示了湍流畸变与事件流时空分布之间的相关性。在此基础上，构建了EGTM框架，从事件中提取像素级可靠的无湍流引导信息，用于时域幸运融合。此外，构建了首个湍流数据采集系统，贡献了首个真实事件驱动的湍流抑制数据集。实验结果表明，该方法在模型大小、推理延迟和模型复杂度方面分别优于现有SOTA方法710倍、214倍和224倍，并在真实EGTM数据集上实现了最先进的复原质量（PSNR +0.94，SSIM +0.08）。
🔬 方法详解
问题定义：现有基于帧相机的湍流抑制方法，由于帧率的限制，难以捕捉到快速变化的湍流信息，需要复杂的网络结构来学习帧与帧之间的湍流动态。这导致了模型体积大、计算复杂度高、推理速度慢等问题，难以在实际应用中部署。
核心思路：本文的核心思路是利用事件相机的高时间分辨率特性，捕捉湍流引起的快速变化。事件相机只记录场景中亮度变化的像素点，因此可以提供比帧相机更精细的时空信息。通过分析事件流的分布，可以推断出图像中哪些区域受湍流影响较小，从而指导图像复原。
技术框架：EGTM框架主要包含以下几个阶段：1) 事件数据预处理：对原始事件数据进行滤波和去噪，提取有效的事件信息。2) 湍流引导估计：基于事件流的时空分布，估计图像中每个像素点受湍流影响的程度，生成湍流引导图。3) 图像复原：利用湍流引导图，选择受湍流影响较小的像素点进行融合，重建清晰的图像。
关键创新：本文最重要的创新点在于提出了“事件幸运洞察”，即湍流畸变与事件流的时空分布之间存在相关性。具体来说，在湍流较弱的区域，事件流的密度较低；而在湍流较强的区域，事件流的密度较高。通过分析事件流的密度，可以有效地估计图像中每个像素点受湍流影响的程度。
关键设计：在湍流引导估计阶段，作者设计了一种基于高斯混合模型的事件流密度估计方法。该方法可以有效地抑制噪声事件的影响，提高湍流引导图的准确性。在图像复原阶段，作者采用了一种加权融合策略，根据湍流引导图的权重，将不同像素点的颜色值进行融合。此外，作者还构建了一个包含真实湍流场景的事件相机数据集，用于训练和评估EGTM框架的性能。
📊 实验亮点
EGTM框架在模型大小、推理延迟和模型复杂度方面分别优于现有SOTA方法710倍、214倍和224倍，效率提升显著。在作者构建的真实EGTM数据集上，EGTM框架实现了最先进的复原质量，PSNR提升0.94dB，SSIM提升0.08。这些结果表明，引入事件相机可以显著提高湍流抑制的效率和性能。
🎯 应用场景
该研究成果可应用于安防监控、遥感成像、天文观测等领域。在这些场景中，大气湍流会严重影响图像质量，降低目标检测、识别和跟踪的准确性。EGTM框架能够有效地消除湍流影响，提高图像质量，从而提升相关应用的性能和可靠性。未来，该技术有望应用于自动驾驶、无人机等领域，为这些应用提供更清晰、更稳定的视觉信息。
📄 摘要（原文）
Turbulence mitigation (TM) aims to remove the stochastic distortions and blurs introduced by atmospheric turbulence into frame cameras. Existing state-of-the-art deep-learning TM methods extract turbulence cues from multiple degraded frames to find the so-called "lucky'', not distorted patch, for "lucky fusion''. However, it requires high-capacity network to learn from coarse-grained turbulence dynamics between synchronous frames with limited frame-rate, thus fall short in computational and storage efficiency. Event cameras, with microsecond-level temporal resolution, have the potential to fundamentally address this bottleneck with efficient sparse and asynchronous imaging mechanism. In light of this, we (i) present the fundamental \textbf{``event-lucky insight''} to reveal the correlation between turbulence distortions and inverse spatiotemporal distribution of event streams. Then, build upon this insight, we (ii) propose a novel EGTM framework that extracts pixel-level reliable turbulence-free guidance from the explicit but noisy turbulent events for temporal lucky fusion. Moreover, we (iii) build the first turbulence data acquisition system to contribute the first real-world event-driven TM dataset. Extensive experimental results demonstrate that our approach significantly surpass the existing SOTA TM method by 710 times, 214 times and 224 times in model size, inference latency and model complexity respectively, while achieving the state-of-the-art in restoration quality (+0.94 PSNR and +0.08 SSIM) on our real-world EGTM dataset. This demonstrating the great efficiency merit of introducing event modality into TM task. Demo code and data have been uploaded in supplementary material and will be released once accepted.