AD-SRF: Attack-Defense Semantic Reinforcement for Multi-Modal Image Fusion

📄 arXiv: 2610.12897v1 📥 PDF

作者: Hao Zhang, Zhiqian Zheng, Linfeng Tang, Xinyu Xiang, Jiayi Ma

分类: cs.CV

发布日期: 2026-10-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出AD-SRF以解决多模态图像融合中的视觉质量与语义属性平衡问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多模态融合 图像处理 语义强化 视觉质量 攻击-防御机制 深度学习 变换器网络

📋 核心要点

  1. 现有图像融合方法难以在视觉质量与语义属性之间取得平衡，导致优化目标之间的冲突。
  2. 本文提出的AD-SRF框架通过攻击-防御机制解耦优化过程，增强融合图像的语义属性，同时保持视觉质量。
  3. 大量实验结果表明，AD-SRF在视觉质量和语义属性上均取得了显著提升，表现出优越的下游分割性能。

📝 摘要（中文）

现有图像融合方法在优化视觉质量与语义属性时面临固有冲突。为了解决这一挑战，本文提出了一种攻击-防御语义强化框架AD-SRF。该框架通过解耦这两个方面的优化并无损地重新整合，向融合图像注入丰富的语义属性，同时不妥协其视觉质量。首先，开发了一种基于变换器的恢复视觉融合网络作为强大的视觉基线。其次，引入攻击-防御博弈机制以增强融合图像的语义属性。通过迭代的对抗交互，该机制推动防御者不断强化融合图像的语义属性，提升下游分割性能而不影响视觉质量。实验表明，AD-SRF在视觉质量和语义属性上实现了双赢性能。

🔬 方法详解

问题定义：本文旨在解决多模态图像融合中视觉质量与语义属性之间的平衡问题。现有方法在优化这两个目标时存在固有的冲突，导致最终融合图像的质量下降。

核心思路：AD-SRF框架通过攻击-防御博弈机制，解耦视觉质量与语义属性的优化过程。攻击者学习扰动模式以削弱下游分割性能，而防御者则从原始输入中恢复缺失的语义并将其无感知地整合到融合图像中。

技术框架：该框架包括两个主要模块：基于变换器的恢复视觉融合网络和攻击-防御博弈机制。前者作为视觉基线，后者通过迭代对抗交互不断增强融合图像的语义属性。

关键创新：AD-SRF的创新在于引入攻击-防御机制，使得防御者能够在对抗过程中不断强化融合图像的语义属性，这是与现有方法的本质区别。

关键设计：在网络结构上，采用了变换器架构以增强视觉融合效果；损失函数设计上，结合了跨模态检索模块和信息恢复-融合协同损失，以确保在降质条件下仍能生成高可视性的融合图像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AD-SRF在视觉质量和语义属性上均优于现有基线方法。具体而言，在下游分割任务中，AD-SRF的性能提升幅度达到XX%，显著提高了融合图像的实用性和准确性。

🎯 应用场景

该研究在医疗影像、遥感图像处理和自动驾驶等领域具有广泛的应用潜力。通过提升多模态图像融合的质量和语义信息，AD-SRF能够为相关领域提供更准确的分析和决策支持，推动智能视觉系统的发展。

📄 摘要（原文）

Existing image fusion methods struggle to balance visual quality and semantic attributes due to the inherent conflict between their optimization objectives. To address this challenge, we propose an attack-defense semantic reinforcement framework for multi-modal image fusion, termed AD-SRF. By decoupling the optimization of these two aspects and then losslessly reintegrating them, this framework injects rich semantic attributes into the fused image without compromising its visual quality. First, we develop a transformer-based restorative visual fusion network as a strong visual baseline. Equipped with the cross-modal retrieval module and the information restoration-fusion collaborative loss, it produces highly visible fused images even under degraded conditions. Second, we introduce an attack-defense game mechanism to strengthen the semantic attributes of the fused images. The attacker learns perturbation patterns that impair downstream segmentation, whereas the defender restores missing semantics from the original inputs and reintegrates them into the fused image through an imperceptible semantic map. Through iterative adversarial interaction, this mechanism drives the defender to continually strengthen the fused image's semantic attributes, boosting downstream segmentation performance without compromising visual quality. Extensive experiments demonstrate that AD-SRF achieves a win-win performance in both visual quality and semantic attributes. The code is publicly available at https://github.com/HaoZhang1018/AD-SRF.