CLIP-Optimized Multimodal Image Enhancement via ISP-CNN Fusion for Coal Mine IoVT under Uneven Illumination

📄 arXiv: 2502.19450v1 📥 PDF

作者: Shuai Wang, Shihao Zhang, Jiaqi Wu, Zijian Tian, Wei Chen, Tongzhu Jin, Miaomiao Xue, Zehua Wang, Fei Richard Yu, Victor C. M. Leung

分类: cs.CV

发布日期: 2025-02-26

💡 一句话要点

提出基于ISP-CNN融合和CLIP优化的多模态图像增强方法，用于煤矿IoVT低照度场景。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像增强 煤矿IoVT 低照度 ISP-CNN融合 CLIP 无监督学习 边缘计算

📋 核心要点

  1. 煤矿IoVT系统图像质量受低照度和亮度不均影响，现有方法依赖配对参考图像且计算效率低。
  2. 提出ISP-CNN融合架构，结合全局增强和细节优化，利用CLIP进行无监督训练，提升图像质量。
  3. 实验表明，该方法在PSNR、SSIM和VIF等指标上优于现有算法，并能在边缘设备上实时部署。

📝 摘要（中文）

针对煤矿视频物联网(IoVT)系统中低照度和亮度不均导致的图像质量下降问题，提出了一种多模态图像增强方法。该方法采用ISP-CNN融合架构，针对不均匀光照进行优化，通过全局增强和细节优化相结合的两阶段策略，有效提升图像质量，尤其是在光照不足的区域。利用基于CLIP的多模态迭代优化实现增强算法的无监督训练。通过将传统图像信号处理(ISP)与卷积神经网络(CNN)相结合，降低了计算复杂度，同时保持了高性能，使其适用于边缘设备的实时部署。实验结果表明，该方法有效缓解了亮度不均，并提升了关键图像质量指标，PSNR提升2.9%-4.9%，SSIM提升4.3%-11.4%，VIF提升4.9%-17.8%。模拟煤矿监控场景验证了该方法在性能和计算需求之间的平衡能力，有助于实时增强并支持更安全的采矿作业。

🔬 方法详解

问题定义：煤矿IoVT系统中，由于地下环境的特殊性，监控图像常常面临低照度和亮度不均的问题，这严重影响了图像质量，进而阻碍了安全监控和智能分析。现有的图像增强方法通常依赖于难以获取的配对参考图像，并且计算复杂度较高，难以在资源受限的边缘设备上实时部署。

核心思路：该论文的核心思路是将传统的图像信号处理（ISP）技术与卷积神经网络（CNN）相结合，利用ISP进行全局的图像增强，然后利用CNN进行细节优化，从而在保证图像质量的同时，降低计算复杂度。此外，利用CLIP模型进行无监督训练，避免了对配对参考图像的依赖。

技术框架：该方法采用两阶段的增强策略。第一阶段，利用ISP模块进行全局增强，主要包括色彩校正、对比度增强等操作，以改善图像的整体亮度和色彩。第二阶段，利用CNN模块进行细节优化，主要通过卷积操作提取图像的局部特征，并进行细节增强和噪声抑制。整个框架通过CLIP模型进行迭代优化，以实现无监督训练。

关键创新：该论文的关键创新在于将ISP和CNN进行融合，充分利用了ISP在全局增强方面的优势和CNN在细节优化方面的能力，从而在性能和计算复杂度之间取得了较好的平衡。此外，利用CLIP模型进行无监督训练，避免了对配对参考图像的依赖，提高了算法的实用性。

关键设计：ISP模块采用了传统的图像处理算法，例如色彩校正、对比度增强等。CNN模块采用了轻量级的网络结构，以降低计算复杂度。损失函数的设计是关键，论文利用CLIP模型提取图像的语义特征，并将其作为损失函数的一部分，以指导网络的训练。具体的网络结构和参数设置在论文中有详细描述，但此处未给出具体数值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个图像质量指标上优于现有的图像增强算法。具体而言，PSNR提升了2.9%-4.9%，SSIM提升了4.3%-11.4%，VIF提升了4.9%-17.8%。此外，在模拟煤矿监控场景下的实验表明，该方法能够在边缘设备上实现实时增强，满足实际应用的需求。

🎯 应用场景

该研究成果可广泛应用于煤矿IoVT系统的图像增强，提升监控图像的质量，从而提高安全监控的有效性，降低安全事故的发生率。此外，该方法也可应用于其他低照度、亮度不均的场景，例如夜间监控、医学影像等。未来，该方法有望与智能分析算法相结合，实现更智能化的煤矿安全监控。

📄 摘要（原文）

Clear monitoring images are crucial for the safe operation of coal mine Internet of Video Things (IoVT) systems. However, low illumination and uneven brightness in underground environments significantly degrade image quality, posing challenges for enhancement methods that often rely on difficult-to-obtain paired reference images. Additionally, there is a trade-off between enhancement performance and computational efficiency on edge devices within IoVT systems.To address these issues, we propose a multimodal image enhancement method tailored for coal mine IoVT, utilizing an ISP-CNN fusion architecture optimized for uneven illumination. This two-stage strategy combines global enhancement with detail optimization, effectively improving image quality, especially in poorly lit areas. A CLIP-based multimodal iterative optimization allows for unsupervised training of the enhancement algorithm. By integrating traditional image signal processing (ISP) with convolutional neural networks (CNN), our approach reduces computational complexity while maintaining high performance, making it suitable for real-time deployment on edge devices.Experimental results demonstrate that our method effectively mitigates uneven brightness and enhances key image quality metrics, with PSNR improvements of 2.9%-4.9%, SSIM by 4.3%-11.4%, and VIF by 4.9%-17.8% compared to seven state-of-the-art algorithms. Simulated coal mine monitoring scenarios validate our method's ability to balance performance and computational demands, facilitating real-time enhancement and supporting safer mining operations.