MMIF-AMIN: Adaptive Loss-Driven Multi-Scale Invertible Dense Network for Multimodal Medical Image Fusion

📄 arXiv: 2508.08679v2 📥 PDF

作者: Tao Luo, Weihua Xu

分类: cs.CV, cs.AI

发布日期: 2025-08-12 (更新: 2025-12-01)

备注: This manuscript is withdrawn to allow for substantial expansion and restructuring. Based on recent research progress, we plan to add Generalization experiment and reorganize the manuscript structure to improve readability and logical flow. Thank you for your understanding and support

💡 一句话要点

提出MMIF-AMIN以解决多模态医学图像融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态医学图像融合 可逆密集网络 特征提取 自适应损失函数 混合注意力机制 图像分析 深度学习

📋 核心要点

  1. 多模态医学图像融合面临的核心问题是如何有效捕捉不同模态之间的独特和互补信息，现有方法在这方面存在不足。
  2. 本文提出的MMIF-AMIN方法通过可逆密集网络和多尺度互补特征提取模块，能够高效提取模态特征并增强互补信息的融合。
  3. 实验结果显示，MMIF-AMIN在九种最先进的MMIF方法中表现优异，定量和定性分析均显示出显著提升。

📝 摘要（中文）

多模态医学图像融合（MMIF）旨在整合来自不同模态的图像，以生成全面的图像，从而增强医学诊断能力，准确描绘器官结构、组织纹理和代谢信息。本文提出了一种新颖的图像融合方法MMIF-AMIN，采用可逆密集网络（IDN）进行无损特征提取，并设计了多尺度互补特征提取模块（MCFEM），结合混合注意力机制、不同尺寸的卷积层和变换器，以提取模态间的互补信息。此外，引入自适应损失函数以指导模型学习，克服传统手动设计损失函数的局限性。大量实验表明，MMIF-AMIN在定量和定性分析中均优于九种最先进的MMIF方法，且消融实验验证了各组件的有效性。

🔬 方法详解

问题定义：多模态医学图像融合的主要挑战在于如何同时捕捉不同模态的独特和互补信息，现有方法往往无法有效整合这些信息，导致融合效果不佳。

核心思路：MMIF-AMIN通过引入可逆密集网络（IDN）进行无损特征提取，同时设计多尺度互补特征提取模块（MCFEM），结合混合注意力机制和变换器，旨在增强模态间的互补信息提取。

技术框架：该方法的整体架构包括三个主要模块：可逆密集网络用于特征提取，多尺度互补特征提取模块用于信息融合，以及自适应损失函数用于指导模型学习。

关键创新：最重要的创新在于引入自适应损失函数，克服了传统手动设计损失函数的局限性，提升了模型的学习能力和数据挖掘深度。

关键设计：在网络结构上，采用了可逆密集网络以保证特征提取的无损性，MCFEM模块结合了不同尺寸的卷积层和变换器，以适应多尺度特征的提取，同时使用混合注意力机制增强特征的表达能力。自适应损失函数的设计则使得模型能够根据不同模态的特征动态调整学习目标。

📊 实验亮点

实验结果显示，MMIF-AMIN在九种最先进的多模态医学图像融合方法中表现优异，定量指标提升幅度达到XX%（具体数据未知），在定性分析中也展现出更为清晰的图像细节，验证了各个模块的有效性。

🎯 应用场景

该研究在医学影像领域具有广泛的应用潜力，尤其是在肿瘤检测、器官分割和疾病诊断等方面。通过有效融合多模态图像，MMIF-AMIN能够提供更为准确的医学图像分析结果，提升临床决策的准确性和效率。未来，该方法也可扩展至其他图像融合任务，具有重要的实际价值。

📄 摘要（原文）

Multimodal medical image fusion (MMIF) aims to integrate images from different modalities to produce a comprehensive image that enhances medical diagnosis by accurately depicting organ structures, tissue textures, and metabolic information. Capturing both the unique and complementary information across multiple modalities simultaneously is a key research challenge in MMIF. To address this challenge, this paper proposes a novel image fusion method, MMIF-AMIN, which features a new architecture that can effectively extract these unique and complementary features. Specifically, an Invertible Dense Network (IDN) is employed for lossless feature extraction from individual modalities. To extract complementary information between modalities, a Multi-scale Complementary Feature Extraction Module (MCFEM) is designed, which incorporates a hybrid attention mechanism, convolutional layers of varying sizes, and Transformers. An adaptive loss function is introduced to guide model learning, addressing the limitations of traditional manually-designed loss functions and enhancing the depth of data mining. Extensive experiments demonstrate that MMIF-AMIN outperforms nine state-of-the-art MMIF methods, delivering superior results in both quantitative and qualitative analyses. Ablation experiments confirm the effectiveness of each component of the proposed method. Additionally, extending MMIF-AMIN to other image fusion tasks also achieves promising performance.