CheXFuse: Guided Differential Joint Attention Fusion for Robust Multimodal Chest X-Ray Classification in Data-Scarce Medical Settings

📄 arXiv: 2610.25617v1 📥 PDF

作者: Muntaqim Ahmed Raju, Priyanka Siddappa, Md Shifat Haider Al Amin, Ruizhe Ma, Md Ripon Ahammed

分类: cs.CV, cs.LG

发布日期: 2026-10-19

备注: IEEE ICDM DMBIH 2026

💡 一句话要点

提出CheXFuse以解决多模态胸部X光分类中的信息不对称问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 胸部X光分类 引导差异注意力 医疗影像分析 深度学习

📋 核心要点

  1. 现有多模态学习方法在处理信息强度差异大的模态时，容易引入冗余或不稳定信号，影响分类性能。
  2. CheXFuse通过引导差异联合注意力机制，有效融合图像和文本信息，强调有用表示，减少无效响应。
  3. 在印第安纳大学胸部X光数据集上，CheXFuse在原始报告和掩蔽报告设置下均表现出色，准确率超过95%。

📝 摘要（中文）

在多模态学习中，如何融合预测能力差异显著的模态是一个核心挑战。当一种模态的表示能力远强于另一种时，随意的跨模态交互可能引入弱、冗余或不稳定的信号，从而限制或降低相对于最强单模态表示的性能。为了解决这一问题，本文提出了CheXFuse，一个基于引导差异联合注意力（GuDJA）的多模态融合框架。CheXFuse将图像和文本令牌表示结合在一个联合多模态序列中，通过学习的令牌引导强调信息丰富的表示，而差异注意力则减少不太有用的注意力响应。我们在印第安纳大学胸部X光数据集上评估了CheXFuse，使用二分类（正常与异常）作为下游任务。实验结果表明，CheXFuse在多种基线和消融实验中表现出色，达到95.73%的准确率和95.79%的F1-score等指标。

🔬 方法详解

问题定义：本文旨在解决多模态胸部X光分类中模态信息强度不对称的问题。现有方法在处理信息强的模态与信息弱的模态时，容易引入冗余或不稳定的信号，导致性能下降。

核心思路：CheXFuse采用引导差异联合注意力（GuDJA）机制，通过对图像和文本令牌的联合表示进行优化，强调信息丰富的特征，同时抑制无用的注意力响应，从而提升分类性能。

技术框架：CheXFuse的整体架构包括图像和文本的特征提取模块、联合令牌序列生成模块以及引导差异注意力机制。该框架通过学习的令牌引导和差异注意力实现有效的多模态融合。

关键创新：CheXFuse的主要创新在于引入了GuDJA机制，能够在模态信息不对称的情况下，优化多模态融合过程，显著提升了分类性能。与传统方法相比，CheXFuse能够更好地处理信息强度差异问题。

关键设计：在模型设计中，CheXFuse使用了特定的损失函数来平衡不同模态的贡献，并通过调节注意力权重来优化信息融合过程。网络结构上，采用了深度卷积神经网络（CNN）和循环神经网络（RNN）的组合，以充分利用图像和文本信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在印第安纳大学胸部X光数据集上，CheXFuse在原始报告设置下达到了95.73%的准确率、95.79%的F1-score和96.54%的召回率，在掩蔽报告设置下也表现出色，准确率为95.58%。这些结果表明，GuDJA机制在信息不对称情况下的有效性。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、辅助诊断系统和智能医疗平台。通过提高胸部X光图像的分类准确性，CheXFuse能够帮助医生更快速、准确地做出诊断决策，具有重要的实际价值和社会影响。未来，该方法还可以扩展到其他医学影像和多模态数据的分析中。

📄 摘要（原文）

A central challenge in multimodal learning is how to fuse modalities that differ substantially in predictive strength. When one modality provides a much stronger representation than another, indiscriminate cross-modal interaction can introduce weak, redundant, or unstable signals, limiting or even degrading performance relative to the strongest unimodal representation. To address this problem, we propose CheXFuse, a multimodal fusion framework based on Guided Differential Joint Attention (GuDJA). CheXFuse combines image and text token representations within a joint multimodal sequence, where learned token guidance emphasizes informative representations and differential attention reduces less useful attention responses. We evaluate CheXFuse on the Indiana University (IU) Chest X-ray dataset, using binary (normal vs. abnormal) classification as the downstream task. Experiments are conducted under both original-report and masked-report settings, with the latter serving as a controlled stress test under reduced textual informativeness. CheXFuse with GuDJA achieves the strongest mean overall performance across the evaluated baselines and ablations, reaching 95.73% accuracy, 95.79% F1-score, 96.54% recall, and 95.28% sensitivity at 95% specificity (Sens@95Spec) with original reports, and 95.58%, 95.60%, 95.60%, and 94.34%, respectively, under masked reports. These results suggest that GuDJA provides a promising fusion strategy under asymmetric or partially reduced modality informativeness.