FMT:A Multimodal Pneumonia Detection Model Based on Stacking MOE Framework

📄 arXiv: 2503.05626v1 📥 PDF

作者: Jingyu Xu, Yang Wang

分类: cs.CV, cs.AI

发布日期: 2025-03-07

💡 一句话要点

提出FMT模型，通过堆叠MOE框架实现更鲁棒的多模态肺炎检测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 肺炎诊断 Transformer 混合专家网络 医学图像分析 自然语言处理 动态掩码注意力

📋 核心要点

  1. 传统多模态肺炎诊断方法难以应对数据不完整和模态缺失等实际临床挑战。
  2. FMT模型通过联合表征学习、动态掩码注意力和顺序混合专家网络提升模型鲁棒性和诊断精度。
  3. 实验表明，FMT在准确率、召回率和F1分数上均优于单模态基线和医学基准CheXMed。

📝 摘要（中文）

本研究提出了一种灵活的多模态Transformer（FMT）模型，用于肺炎诊断，旨在解决传统多模态方法在数据不完整和模态缺失等实际挑战中的不足。FMT利用ResNet-50和BERT进行联合表征学习，并采用动态掩码注意力策略模拟临床模态缺失，以提高模型的鲁棒性。此外，使用顺序混合专家（MOE）架构实现多层次的决策优化。在小型多模态肺炎数据集上的评估结果表明，FMT达到了最先进的性能，准确率达到94%，召回率达到95%，F1分数达到93%，优于单模态基线（ResNet：89%；BERT：79%）和医学基准CheXMed（90%），为资源受限的医疗环境中肺炎的多模态诊断提供了一种可扩展的解决方案。

🔬 方法详解

问题定义：论文旨在解决多模态肺炎诊断中，由于数据不完整（如缺少影像或文本信息）以及模态缺失（如某些模态信息质量差）导致的诊断精度下降问题。现有方法通常难以有效融合不同模态的信息，并且对模态缺失的鲁棒性较差。

核心思路：论文的核心思路是利用Transformer架构的强大表征能力，结合动态掩码注意力机制模拟模态缺失，并通过混合专家网络进行多层次的决策优化，从而提高模型在实际临床场景中的鲁棒性和诊断精度。

技术框架：FMT模型主要包含三个模块：1) 联合表征学习模块，使用ResNet-50提取图像特征，BERT提取文本特征，并将两种特征进行融合；2) 动态掩码注意力模块，通过随机掩盖部分模态的信息，模拟临床中模态缺失的情况，并利用注意力机制学习不同模态之间的依赖关系；3) 顺序混合专家（MOE）模块，通过多个专家网络进行多层次的决策，并使用门控网络选择合适的专家进行预测。

关键创新：论文的关键创新在于动态掩码注意力机制和顺序混合专家网络的应用。动态掩码注意力机制能够有效提高模型对模态缺失的鲁棒性，而顺序混合专家网络能够进行多层次的决策优化，从而提高诊断精度。与现有方法相比，FMT模型能够更好地融合不同模态的信息，并且对模态缺失具有更强的鲁棒性。

关键设计：ResNet-50和BERT的选择是基于它们在图像和文本特征提取方面的强大能力。动态掩码的比例是一个重要的超参数，需要根据数据集的特点进行调整。MOE模块中专家网络的数量和结构也需要进行优化。损失函数方面，可以使用交叉熵损失函数进行训练，并可以加入正则化项防止过拟合。

📊 实验亮点

FMT模型在小型多模态肺炎数据集上取得了显著的性能提升，准确率达到94%，召回率达到95%，F1分数达到93%，超过了单模态基线（ResNet：89%；BERT：79%）和医学基准CheXMed（90%）。实验结果表明，FMT模型能够有效融合多模态信息，并对模态缺失具有较强的鲁棒性。

🎯 应用场景

该研究成果可应用于资源受限的医疗环境中，辅助医生进行肺炎的快速、准确诊断。通过整合影像和文本等多模态信息，提高诊断效率和准确性，尤其是在缺乏专业医生的情况下，具有重要的应用价值。未来可扩展到其他疾病的多模态诊断，提升医疗智能化水平。

📄 摘要（原文）

Artificial intelligence has shown the potential to improve diagnostic accuracy through medical image analysis for pneumonia diagnosis. However, traditional multimodal approaches often fail to address real-world challenges such as incomplete data and modality loss. In this study, a Flexible Multimodal Transformer (FMT) was proposed, which uses ResNet-50 and BERT for joint representation learning, followed by a dynamic masked attention strategy that simulates clinical modality loss to improve robustness; finally, a sequential mixture of experts (MOE) architecture was used to achieve multi-level decision refinement. After evaluation on a small multimodal pneumonia dataset, FMT achieved state-of-the-art performance with 94% accuracy, 95% recall, and 93% F1 score, outperforming single-modal baselines (ResNet: 89%; BERT: 79%) and the medical benchmark CheXMed (90%), providing a scalable solution for multimodal diagnosis of pneumonia in resource-constrained medical settings.