LMHaze: Intensity-aware Image Dehazing with a Large-scale Multi-intensity Real Haze Dataset
作者: Ruikun Zhang, Hao Yang, Yan Yang, Ying Fu, Liyuan Pan
分类: cs.CV
发布日期: 2024-10-21
💡 一句话要点
提出LMHaze大规模真实雾霾数据集，并设计MoE-Mamba模型提升图像去雾性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像去雾 真实数据集 雾霾强度 混合专家模型 Mamba 多模态模型 感知评估
📋 核心要点
- 现有去雾方法依赖成对数据，但真实数据难以获取，合成数据存在偏差，限制了模型的泛化能力。
- 提出LMHaze数据集，包含大规模、多样化的真实雾霾图像对，并设计MoE-Mamba模型自适应处理不同雾霾强度。
- 实验表明，LMHaze数据集能有效提升去雾模型在真实场景下的性能，且MoE-Mamba模型优于现有方法。
📝 摘要（中文）
图像去雾近年来备受关注。基于学习的方法通常需要成对的雾霾图像和对应的无雾图像进行训练。然而，收集真实世界的图像对非常困难，这阻碍了现有方法的发展。虽然一些工作通过使用合成数据集或小规模真实数据集部分缓解了这个问题，但现有数据集中雾霾强度分布偏差和场景同质性限制了这些方法的泛化能力，尤其是在遇到具有先前未见过的雾霾强度的图像时。本文提出了LMHaze，一个大规模、高质量的真实世界数据集。LMHaze包含在不同的室内和室外环境中捕获的成对的雾霾和无雾图像，涵盖多种场景和雾霾强度。它包含超过5K的高分辨率图像对，超过了现有最大的真实世界去雾数据集的25倍以上。同时，为了更好地处理具有不同雾霾强度的图像，我们提出了一种基于Mamba的混合专家模型（MoE-Mamba）用于去雾，该模型根据雾霾强度动态调整模型参数。此外，利用我们提出的数据集，我们进行了一项新的基于大型多模态模型（LMM）的基准研究，以模拟人类对去雾图像的感知评估。实验表明，LMHaze数据集提高了真实场景中的去雾性能，并且我们的去雾方法提供了比最先进方法更好的结果。
🔬 方法详解
问题定义：现有图像去雾方法依赖于成对的雾霾图像和无雾图像进行训练。然而，真实世界的成对数据难以获取，合成数据又存在与真实数据分布不一致的问题，导致模型在真实场景下的泛化能力不足。此外，现有数据集在雾霾强度分布和场景多样性方面存在局限性，进一步限制了模型的性能。
核心思路：本文的核心思路是构建一个大规模、高质量的真实雾霾数据集LMHaze，以解决数据匮乏和数据偏差问题。同时，为了更好地处理不同雾霾强度的图像，提出了一种基于Mamba的混合专家模型（MoE-Mamba），该模型能够根据雾霾强度动态调整模型参数，从而提高去雾性能。
技术框架：该方法主要包含两个部分：一是LMHaze数据集的构建，二是MoE-Mamba去雾模型的训练和评估。LMHaze数据集的构建涉及图像采集、配准和质量控制等步骤。MoE-Mamba模型则采用混合专家架构，其中每个专家都是一个Mamba模块，用于处理特定雾霾强度的图像。整个框架通过在LMHaze数据集上训练MoE-Mamba模型，并使用LMM进行感知评估，来验证数据集和模型的有效性。
关键创新：主要创新点在于：(1) 构建了大规模、高质量的真实雾霾数据集LMHaze，其规模远超现有数据集，且包含更丰富的场景和雾霾强度。(2) 提出了基于Mamba的混合专家模型（MoE-Mamba），能够根据雾霾强度动态调整模型参数，从而提高去雾性能。与现有方法相比，MoE-Mamba能够更好地适应不同雾霾强度的图像，并具有更强的泛化能力。
关键设计：LMHaze数据集包含超过5K的高分辨率图像对，涵盖多种室内和室外场景。MoE-Mamba模型采用混合专家架构，其中每个专家都是一个Mamba模块，用于处理特定雾霾强度的图像。模型的损失函数包括L1损失和感知损失，用于提高去雾图像的质量。雾霾强度估计模块用于估计输入图像的雾霾强度，并根据估计结果选择合适的专家进行处理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LMHaze数据集能够有效提升去雾模型在真实场景下的性能。MoE-Mamba模型在LMHaze数据集上训练后，在多个测试集上取得了优于现有最先进方法的结果。此外，基于LMM的感知评估结果表明，MoE-Mamba模型生成的去雾图像更符合人类视觉感知。
🎯 应用场景
该研究成果可广泛应用于智能交通、安防监控、遥感图像处理等领域。在雾霾天气下，这些应用场景中的图像质量会受到严重影响，导致系统性能下降。LMHaze数据集和MoE-Mamba模型能够有效提高这些场景下的图像质量，从而提升系统的可靠性和准确性。未来，该研究还可以扩展到其他图像增强领域，如水下图像增强和夜间图像增强。
📄 摘要（原文）
Image dehazing has drawn a significant attention in recent years. Learning-based methods usually require paired hazy and corresponding ground truth (haze-free) images for training. However, it is difficult to collect real-world image pairs, which prevents developments of existing methods. Although several works partially alleviate this issue by using synthetic datasets or small-scale real datasets. The haze intensity distribution bias and scene homogeneity in existing datasets limit the generalization ability of these methods, particularly when encountering images with previously unseen haze intensities. In this work, we present LMHaze, a large-scale, high-quality real-world dataset. LMHaze comprises paired hazy and haze-free images captured in diverse indoor and outdoor environments, spanning multiple scenarios and haze intensities. It contains over 5K high-resolution image pairs, surpassing the size of the biggest existing real-world dehazing dataset by over 25 times. Meanwhile, to better handle images with different haze intensities, we propose a mixture-of-experts model based on Mamba (MoE-Mamba) for dehazing, which dynamically adjusts the model parameters according to the haze intensity. Moreover, with our proposed dataset, we conduct a new large multimodal model (LMM)-based benchmark study to simulate human perception for evaluating dehazed images. Experiments demonstrate that LMHaze dataset improves the dehazing performance in real scenarios and our dehazing method provides better results compared to state-of-the-art methods.