One Model for ALL: Low-Level Task Interaction Is a Key to Task-Agnostic Image Fusion
作者: Chunyang Cheng, Tianyang Xu, Zhenhua Feng, Xiaojun Wu, ZhangyongTang, Hui Li, Zeyang Zhang, Sara Atito, Muhammad Awais, Josef Kittler
分类: cs.CV
发布日期: 2025-02-27 (更新: 2025-03-09)
备注: Accepted by CVPR 2025 v2
🔗 代码/项目: GITHUB
💡 一句话要点
提出GIFNet，利用低级视觉任务交互实现任务无关的图像融合
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 图像融合 多模态融合 低级视觉任务 无监督学习 特征交互
📋 核心要点
- 现有图像融合方法侧重高级任务，但语义鸿沟阻碍了任务间的有效交互。
- GIFNet利用低级视觉任务的像素级监督，实现无监督多模态融合，增强特征共享。
- GIFNet在多种融合任务中表现出色，并支持单模态增强，具有良好的泛化能力。
📝 摘要（中文）
先进的图像融合方法通常优先考虑高级任务，但任务交互面临语义鸿沟，需要复杂的桥接机制。本文提出利用数字摄影融合中的低级视觉任务，通过像素级监督实现有效的特征交互。这种新范式为无监督多模态融合提供了强有力的指导，无需依赖抽象语义，从而增强了任务共享的特征学习，实现了更广泛的适用性。由于混合图像特征和增强的通用表示，所提出的GIFNet支持各种融合任务，在已见和未见场景中均实现了高性能。实验结果表明，该框架还支持单模态增强，为实际应用提供了卓越的灵活性。
🔬 方法详解
问题定义：现有的图像融合方法通常针对特定任务进行优化，缺乏通用性。它们在高层语义层面进行交互，导致语义鸿沟问题，需要复杂的桥接机制来弥合不同任务之间的差异。此外，针对特定任务设计的模型难以泛化到未见过的场景或任务中。
核心思路：本文的核心思路是利用低级视觉任务（如数字摄影融合）作为桥梁，通过像素级别的监督来指导多模态融合。这种方法避免了在高层语义层面进行复杂的交互，从而减少了语义鸿沟问题。通过学习任务共享的特征表示，模型可以更好地泛化到不同的融合任务和场景中。
技术框架：GIFNet的整体框架包含特征提取、特征融合和图像重建三个主要模块。首先，使用卷积神经网络提取不同模态图像的特征。然后，通过设计的融合模块将这些特征进行融合，得到统一的特征表示。最后，使用解码器将融合后的特征重建为融合后的图像。该框架采用无监督学习的方式进行训练，利用低级视觉任务的像素级监督信号来指导特征学习。
关键创新：GIFNet的关键创新在于利用低级视觉任务进行特征交互，从而实现任务无关的图像融合。与现有方法相比，GIFNet不需要针对特定任务进行设计，而是通过学习通用的特征表示来实现对多种融合任务的支持。此外，GIFNet还支持单模态图像增强，进一步提高了其灵活性和实用性。
关键设计：GIFNet的关键设计包括：1) 使用混合图像特征，结合了不同模态图像的优势；2) 设计了增强的通用表示，使得模型可以更好地泛化到不同的融合任务和场景中；3) 采用无监督学习的方式进行训练，避免了对大量标注数据的依赖；4) 网络结构细节未知，但强调了特征提取、融合和重建三个关键模块的有效设计。
🖼️ 关键图片
📊 实验亮点
GIFNet在多个图像融合任务上取得了优异的性能，包括多曝光图像融合、红外和可见光图像融合等。实验结果表明，GIFNet在已见和未见场景中均实现了高性能，并且支持单模态图像增强。具体的性能数据和对比基线未知，但论文强调了GIFNet的通用性和灵活性。
🎯 应用场景
GIFNet具有广泛的应用前景，包括医学图像融合（如CT和MRI图像融合）、遥感图像融合（如多光谱和全色图像融合）、以及计算机视觉中的图像增强和修复等。该方法可以提高图像的质量和信息量，为后续的图像分析和决策提供更好的基础。未来，该方法可以进一步扩展到视频融合和三维重建等领域。
📄 摘要（原文）
Advanced image fusion methods mostly prioritise high-level missions, where task interaction struggles with semantic gaps, requiring complex bridging mechanisms. In contrast, we propose to leverage low-level vision tasks from digital photography fusion, allowing for effective feature interaction through pixel-level supervision. This new paradigm provides strong guidance for unsupervised multimodal fusion without relying on abstract semantics, enhancing task-shared feature learning for broader applicability. Owning to the hybrid image features and enhanced universal representations, the proposed GIFNet supports diverse fusion tasks, achieving high performance across both seen and unseen scenarios with a single model. Uniquely, experimental results reveal that our framework also supports single-modality enhancement, offering superior flexibility for practical applications. Our code will be available at https://github.com/AWCXV/GIFNet.