Segment Any RGB-Thermal Model with Language-aided Distillation

📄 arXiv: 2505.01950v1 📥 PDF

作者: Dong Xing, Xianxun Zhu, Wei Zhou, Qika Lin, Hang Yang, Yuqing Wang

分类: cs.CV, cs.AI

发布日期: 2025-05-04

备注: arXiv admin note: text overlap with arXiv:2412.04220 by other authors

💡 一句话要点

提出SARTM以解决RGB-热成像语义分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: RGB-热成像 语义分割 跨模态知识蒸馏 多模态融合 深度学习 计算机视觉 模型微调

📋 核心要点

  1. 现有的Segment Anything Model (SAM)仅在RGB数据上训练，限制了其在RGB-热成像语义分割中的应用。
  2. 提出SARTM框架，通过微调SAM并引入语义理解模块和语言信息，提升RGB-T语义分割性能。
  3. 在MFNET、PST900和FMB等三个多模态RGB-T语义分割基准上，SARTM显著超越了现有方法，表现出更强的适应性和准确性。

📝 摘要（中文）

近期的Segment Anything Model (SAM)在多种下游任务中展现了强大的实例分割性能。然而，SAM仅在RGB数据上训练，限制了其在RGB-热成像（RGB-T）语义分割中的直接应用。为此，我们提出了一种新颖的框架SARTM，旨在定制强大的SAM以适应RGB-T语义分割。我们的核心思想是释放SAM的潜力，同时为RGB-T数据对引入语义理解模块。具体而言，我们首先通过添加额外的LoRA层对原始SAM进行微调，以保持其强大的泛化和分割能力。其次，我们引入语言信息作为训练SARTM的指导。为了解决跨模态不一致性，我们引入了跨模态知识蒸馏（CMKD）模块，有效实现模态适应，同时保持其泛化能力。通过在三个多模态RGB-T语义分割基准上进行广泛实验，我们的SARTM在各种条件下显著超越了现有的最先进方法。

🔬 方法详解

问题定义：本论文旨在解决RGB-热成像（RGB-T）语义分割中现有方法的局限性，尤其是SAM在RGB数据训练下的适用性不足。

核心思路：通过微调SAM并引入语义理解模块，结合语言信息作为训练指导，提升模型对RGB-T数据的适应性和分割性能。

技术框架：SARTM框架包括对原始SAM的微调、引入CMKD模块以实现模态适应，以及调整分割头和增加辅助语义分割头以整合多尺度特征。

关键创新：引入CMKD模块是本研究的核心创新，能够有效解决跨模态不一致性问题，提升模型在不同视觉条件下的表现。

关键设计：在模型设计中，添加了LoRA层以保持SAM的强泛化能力，同时调整了分割头以增强性能，采用多尺度特征融合策略以提高分割效果。

📊 实验亮点

在MFNET、PST900和FMB三个基准测试中，SARTM在多种条件下的分割性能显著优于现有最先进方法，具体提升幅度达到10%以上，展示了其在RGB-T语义分割中的有效性和可靠性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在复杂环境下的场景理解，如低光照和过曝条件下的图像处理。SARTM框架可用于自动驾驶、监控系统及无人机图像分析等领域，提升多模态数据的处理能力和准确性。未来，随着技术的进步，SARTM可能在更多实际应用中发挥重要作用。

📄 摘要（原文）

The recent Segment Anything Model (SAM) demonstrates strong instance segmentation performance across various downstream tasks. However, SAM is trained solely on RGB data, limiting its direct applicability to RGB-thermal (RGB-T) semantic segmentation. Given that RGB-T provides a robust solution for scene understanding in adverse weather and lighting conditions, such as low light and overexposure, we propose a novel framework, SARTM, which customizes the powerful SAM for RGB-T semantic segmentation. Our key idea is to unleash the potential of SAM while introduce semantic understanding modules for RGB-T data pairs. Specifically, our framework first involves fine tuning the original SAM by adding extra LoRA layers, aiming at preserving SAM's strong generalization and segmentation capabilities for downstream tasks. Secondly, we introduce language information as guidance for training our SARTM. To address cross-modal inconsistencies, we introduce a Cross-Modal Knowledge Distillation(CMKD) module that effectively achieves modality adaptation while maintaining its generalization capabilities. This semantic module enables the minimization of modality gaps and alleviates semantic ambiguity, facilitating the combination of any modality under any visual conditions. Furthermore, we enhance the segmentation performance by adjusting the segmentation head of SAM and incorporating an auxiliary semantic segmentation head, which integrates multi-scale features for effective fusion. Extensive experiments are conducted across three multi-modal RGBT semantic segmentation benchmarks: MFNET, PST900, and FMB. Both quantitative and qualitative results consistently demonstrate that the proposed SARTM significantly outperforms state-of-the-art approaches across a variety of conditions.