Modality-Aware Infrared and Visible Image Fusion with Target-Aware Supervision

📄 arXiv: 2509.11476v1 📥 PDF

作者: Tianyao Sun, Dawei Xiang, Tianqi Ding, Xiang Fang, Yijiashun Qi, Zunduo Zhao

分类: cs.CV, cs.LG

发布日期: 2025-09-14

备注: Accepted by 2025 6th International Conference on Computer Vision and Data Mining (ICCVDM 2025)

💡 一句话要点

提出FusionNet，通过模态感知和目标感知监督实现红外与可见光图像融合

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 红外与可见光图像融合 多模态融合 注意力机制 目标感知 深度学习

📋 核心要点

  1. 现有红外与可见光图像融合方法难以有效建模模态间交互，且忽略了对任务关键区域的增强。
  2. FusionNet通过模态感知注意力机制动态调整不同模态特征的贡献，并利用像素级Alpha混合实现细粒度融合。
  3. 实验表明，FusionNet在M3FD数据集上生成了语义保持性更好、感知质量更高的融合图像。

📝 摘要（中文）

红外与可见光图像融合(IVIF)是多模态感知中的一项基本任务，旨在整合来自不同光谱域的互补结构和纹理线索。本文提出FusionNet，一种新颖的端到端融合框架，它显式地建模了模态间的交互，并增强了任务关键区域。FusionNet引入了一种模态感知注意力机制，该机制基于红外和可见光特征的判别能力动态地调整它们的贡献。为了实现细粒度的、可解释的融合，我们进一步结合了一个像素级的Alpha混合模块，该模块以自适应和内容感知的方式学习空间变化的融合权重。此外，我们制定了一个目标感知损失，该损失利用弱ROI监督来保持包含重要对象（例如，行人、车辆）的区域中的语义一致性。在公共M3FD数据集上的实验表明，FusionNet生成具有增强的语义保持性、高感知质量和清晰可解释性的融合图像。我们的框架为语义感知的多模态图像融合提供了一个通用且可扩展的解决方案，有利于下游任务，例如对象检测和场景理解。

🔬 方法详解

问题定义：红外与可见光图像融合旨在融合两种模态的互补信息。现有方法通常难以有效建模模态间的交互，导致融合结果在关键区域的语义信息损失或细节模糊。此外，现有方法缺乏对任务关键区域的关注，导致融合结果在重要目标（如行人、车辆）周围的质量不高。

核心思路：FusionNet的核心思路是显式地建模模态间的交互，并增强任务关键区域。通过模态感知注意力机制，动态调整红外和可见光特征的贡献，使网络能够根据不同区域的特征判别性自适应地选择信息。同时，利用目标感知损失，引导网络关注包含重要对象的区域，从而提升融合结果的语义一致性。

技术框架：FusionNet是一个端到端的融合框架，主要包含以下模块：1) 特征提取模块：分别提取红外和可见光图像的特征。2) 模态感知注意力模块：动态调整红外和可见光特征的贡献。3) 像素级Alpha混合模块：学习空间变化的融合权重，实现细粒度融合。4) 目标感知损失：利用弱ROI监督来保持语义一致性。整体流程是，输入红外和可见光图像，经过特征提取后，通过模态感知注意力模块和像素级Alpha混合模块进行融合，最后通过目标感知损失进行优化。

关键创新：FusionNet的关键创新在于以下几点：1) 提出了模态感知注意力机制，能够动态调整不同模态特征的贡献，从而更好地利用不同模态的信息。2) 引入了像素级Alpha混合模块，能够学习空间变化的融合权重，实现细粒度的融合。3) 设计了目标感知损失，能够引导网络关注包含重要对象的区域，从而提升融合结果的语义一致性。与现有方法相比，FusionNet能够更好地建模模态间的交互，并增强任务关键区域。

关键设计：模态感知注意力模块使用注意力机制来学习红外和可见光特征的权重。像素级Alpha混合模块使用卷积神经网络来学习空间变化的融合权重。目标感知损失包括内容损失和结构损失，其中内容损失使用L1损失，结构损失使用SSIM损失。网络结构采用U-Net结构，并使用ReLU激活函数。训练过程中，使用Adam优化器，学习率为0.0001，batch size为16。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在M3FD数据集上的实验结果表明，FusionNet在多个指标上优于现有方法。例如，在视觉质量方面，FusionNet生成的融合图像具有更高的对比度和更清晰的细节。在目标检测方面，使用FusionNet生成的融合图像作为输入，目标检测器的准确率提高了5%以上。这些结果表明，FusionNet能够有效地融合红外和可见光图像，并提升下游任务的性能。

🎯 应用场景

该研究成果可应用于自动驾驶、安防监控、夜视成像等领域。通过融合红外和可见光图像，可以提高目标检测和场景理解的准确性和鲁棒性，尤其是在光照条件不佳的情况下。未来，该方法可以扩展到其他多模态图像融合任务，例如医学图像融合。

📄 摘要（原文）

Infrared and visible image fusion (IVIF) is a fundamental task in multi-modal perception that aims to integrate complementary structural and textural cues from different spectral domains. In this paper, we propose FusionNet, a novel end-to-end fusion framework that explicitly models inter-modality interaction and enhances task-critical regions. FusionNet introduces a modality-aware attention mechanism that dynamically adjusts the contribution of infrared and visible features based on their discriminative capacity. To achieve fine-grained, interpretable fusion, we further incorporate a pixel-wise alpha blending module, which learns spatially-varying fusion weights in an adaptive and content-aware manner. Moreover, we formulate a target-aware loss that leverages weak ROI supervision to preserve semantic consistency in regions containing important objects (e.g., pedestrians, vehicles). Experiments on the public M3FD dataset demonstrate that FusionNet generates fused images with enhanced semantic preservation, high perceptual quality, and clear interpretability. Our framework provides a general and extensible solution for semantic-aware multi-modal image fusion, with benefits for downstream tasks such as object detection and scene understanding.