DIS-Mine: Instance Segmentation for Disaster-Awareness in Poor-Light Condition in Underground Mines

📄 arXiv: 2411.13544v1 📥 PDF

作者: Mizanur Rahman Jewel, Mohamed Elmahallawy, Sanjay Madria, Samuel Frimpong

分类: cs.CV

发布日期: 2024-11-20

💡 一句话要点

DIS-Mine：针对地下矿井弱光环境的灾害感知实例分割方法

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 实例分割 弱光环境 地下矿井 灾害感知 Mask R-CNN SAM 图像增强

📋 核心要点

  1. 地下矿井灾害检测面临弱光或完全黑暗环境的挑战，现有方法难以有效应对高噪声、色彩失真和低对比度等问题。
  2. DIS-Mine通过图像亮度改善、集成SAM的实例分割、Mask R-CNN分割和特征匹配的掩码对齐四个核心组件，提升了弱光环境下的目标检测和分割性能。
  3. 在ImageMine数据集及其他数据集上的实验表明，DIS-Mine的F1分数达到86.0%，mIoU达到72.0%，显著优于现有实例分割方法。

📝 摘要（中文）

本文提出了一种名为DIS-Mine的新型实例分割方法，专门用于识别地下矿井中弱光或低能见度条件下的灾害影响区域，以辅助救援人员。DIS-Mine能够检测图像中的物体，即使在完全黑暗的环境中也能有效应对高噪声、色彩失真和对比度降低等挑战。DIS-Mine的关键创新建立在四个核心组件之上：i) 图像亮度改善，ii) 集成SAM的实例分割，iii) 基于Mask R-CNN的分割，以及iv) 特征匹配的掩码对齐。此外，我们从实验性地下矿井中收集了真实世界的图像，引入了一个名为ImageMine的新数据集，专门在低可见度条件下收集。该数据集用于验证DIS-Mine在现实、具有挑战性的环境中的性能。综合实验表明，DIS-Mine在ImageMine数据集以及其他各种数据集上实现了86.0%的F1分数和72.0%的mIoU，优于最先进的实例分割方法，在目标检测中至少提高了15倍，精度提高了高达80%。

🔬 方法详解

问题定义：论文旨在解决地下矿井弱光或完全黑暗环境下，灾害区域难以被有效检测和分割的问题。现有方法在处理高噪声、色彩失真和低对比度等问题时表现不佳，导致救援效率低下。

核心思路：DIS-Mine的核心思路是通过多阶段处理，逐步提升图像质量和分割精度。首先改善图像亮度，然后利用SAM进行初步分割，再通过Mask R-CNN进行精细分割，最后使用特征匹配进行掩码对齐，从而在恶劣光照条件下实现准确的实例分割。

技术框架：DIS-Mine的整体框架包含四个主要模块：1) 图像亮度改善模块，用于增强图像的可见性；2) 集成SAM的实例分割模块，利用SAM的强大分割能力进行初步分割；3) 基于Mask R-CNN的分割模块，对初步分割结果进行精细化；4) 掩码对齐模块，通过特征匹配对掩码进行对齐，提高分割精度。

关键创新：DIS-Mine的关键创新在于将SAM集成到Mask R-CNN框架中，并结合图像亮度改善和掩码对齐技术，从而显著提升了在弱光环境下的实例分割性能。与传统方法相比，DIS-Mine能够更好地应对高噪声、色彩失真和低对比度等挑战。

关键设计：图像亮度改善模块可能采用了自适应直方图均衡化或其他图像增强算法。SAM的集成方式未知，可能作为Mask R-CNN的先验信息或后处理步骤。Mask R-CNN的网络结构可能进行了针对性调整，以适应矿井环境的特点。掩码对齐模块可能使用了SIFT或ORB等特征匹配算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DIS-Mine在ImageMine数据集上取得了显著的性能提升，F1分数达到86.0%，mIoU达到72.0%，优于现有实例分割方法。在目标检测方面，DIS-Mine的精度提高了高达80%，性能提升至少15倍，表明其在弱光环境下的优越性。

🎯 应用场景

DIS-Mine可应用于地下矿井、隧道、灾害现场等弱光或黑暗环境下的目标检测与分割，辅助救援人员快速定位受灾区域和被困人员，提高救援效率，减少人员伤亡。该技术还可扩展到其他安全生产领域，如石油化工、电力等。

📄 摘要（原文）

Detecting disasters in underground mining, such as explosions and structural damage, has been a persistent challenge over the years. This problem is compounded for first responders, who often have no clear information about the extent or nature of the damage within the mine. The poor-light or even total darkness inside the mines makes rescue efforts incredibly difficult, leading to a tragic loss of life. In this paper, we propose a novel instance segmentation method called DIS-Mine, specifically designed to identify disaster-affected areas within underground mines under low-light or poor visibility conditions, aiding first responders in rescue efforts. DIS-Mine is capable of detecting objects in images, even in complete darkness, by addressing challenges such as high noise, color distortions, and reduced contrast. The key innovations of DIS-Mine are built upon four core components: i) Image brightness improvement, ii) Instance segmentation with SAM integration, iii) Mask R-CNN-based segmentation, and iv) Mask alignment with feature matching. On top of that, we have collected real-world images from an experimental underground mine, introducing a new dataset named ImageMine, specifically gathered in low-visibility conditions. This dataset serves to validate the performance of DIS-Mine in realistic, challenging environments. Our comprehensive experiments on the ImageMine dataset, as well as on various other datasets demonstrate that DIS-Mine achieves a superior F1 score of 86.0% and mIoU of 72.0%, outperforming state-of-the-art instance segmentation methods, with at least 15x improvement and up to 80% higher precision in object detection.