Diffeomorphic Template Registration for Atmospheric Turbulence Mitigation
作者: Dong Lao, Congli Wang, Alex Wong, Stefano Soatto
分类: cs.CV
发布日期: 2024-05-06 (更新: 2024-06-24)
💡 一句话要点
提出基于微分同胚模板配准的大气湍流缓解方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 大气湍流缓解 图像配准 光流估计 微分同胚 图像恢复
📋 核心要点
- 大气湍流导致图像质量下降，现有方法依赖启发式初始化模板，易产生伪影。
- 该方法选择参考图像，通过光流聚合建模形变，并利用流动反演模块实现无模板配准。
- 实验表明，即使使用简单的光流和参考帧选择，该方法也能实现最先进的性能。
📝 摘要（中文）
本文提出了一种恢复受大气湍流影响的图像集合背后潜在辐照度的方法。由于通常无法获得有监督数据，因此必须施加假设和偏差来解决这个逆问题，我们选择显式地建模它们。与通过启发式方法初始化潜在辐照度（“模板”）以估计形变不同，我们选择其中一张图像作为参考，并通过从该图像到其他图像的光流聚合来建模该图像中的形变，利用中心极限定理施加的先验。然后，通过一种新颖的流动反演模块，该模型将每张图像配准到模板，但不需要实际的模板，从而避免了与不良模板初始化相关的伪影。为了说明该方法的鲁棒性，我们简单地（i）选择第一帧作为参考，并且（ii）使用最简单的光流来估计扭曲，但配准的改进在最终重建中是决定性的，因为尽管其简单性，我们仍实现了最先进的性能。该方法建立了一个强大的基线，可以通过将其无缝集成到更复杂的流程中，或者在需要时与特定领域的方法集成来进一步改进。
🔬 方法详解
问题定义：大气湍流会严重影响图像质量，尤其是在遥感、天文观测等领域。现有方法通常需要初始化一个潜在的清晰图像（模板），然后将其他图像配准到该模板。然而，模板的初始化往往依赖于启发式方法，如果初始化不好，会导致配准出现伪影，影响最终的图像恢复效果。
核心思路：本文的核心思路是避免直接初始化模板，而是选择一张图像作为参考，通过估计其他图像到参考图像的光流来建模形变。然后，利用一个新颖的流动反演模块，将每张图像配准到“虚拟”模板，而无需显式地创建和更新模板。这种方法可以有效避免因模板初始化不良而产生的伪影。
技术框架：该方法主要包含以下几个阶段：1. 选择参考图像；2. 估计其他图像到参考图像的光流；3. 利用中心极限定理对光流进行聚合，得到形变场；4. 使用流动反演模块，将每张图像配准到“虚拟”模板；5. 利用配准后的图像进行图像恢复。
关键创新：该方法最重要的创新点在于提出了一个流动反演模块，可以在没有显式模板的情况下实现图像配准。与传统方法相比，该方法避免了模板初始化的问题，从而提高了配准的鲁棒性和准确性。此外，利用中心极限定理对光流进行聚合，可以有效地减少噪声的影响。
关键设计：该方法的关键设计包括：1. 参考图像的选择：可以选择第一帧图像作为参考，也可以选择质量最好的图像作为参考。2. 光流估计：可以使用各种光流估计算法，例如TV-L1光流、RAFT等。3. 流动反演模块：该模块的具体实现可以采用不同的网络结构，例如U-Net等。4. 损失函数：可以使用各种损失函数来优化配准效果，例如均方误差、结构相似性等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，即使使用最简单的光流算法和第一帧作为参考图像，该方法也能实现最先进的性能。这表明该方法具有很强的鲁棒性和泛化能力。与现有方法相比，该方法可以有效地减少伪影，提高图像恢复的质量。
🎯 应用场景
该方法可应用于大气湍流缓解、遥感图像增强、天文观测图像处理等领域。通过提高图像质量，可以改善目标检测、图像识别等下游任务的性能。此外，该方法还可以应用于视频稳定、运动估计等领域，具有广泛的应用前景。
📄 摘要（原文）
We describe a method for recovering the irradiance underlying a collection of images corrupted by atmospheric turbulence. Since supervised data is often technically impossible to obtain, assumptions and biases have to be imposed to solve this inverse problem, and we choose to model them explicitly. Rather than initializing a latent irradiance ("template") by heuristics to estimate deformation, we select one of the images as a reference, and model the deformation in this image by the aggregation of the optical flow from it to other images, exploiting a prior imposed by Central Limit Theorem. Then with a novel flow inversion module, the model registers each image TO the template but WITHOUT the template, avoiding artifacts related to poor template initialization. To illustrate the robustness of the method, we simply (i) select the first frame as the reference and (ii) use the simplest optical flow to estimate the warpings, yet the improvement in registration is decisive in the final reconstruction, as we achieve state-of-the-art performance despite its simplicity. The method establishes a strong baseline that can be further improved by integrating it seamlessly into more sophisticated pipelines, or with domain-specific methods if so desired.