Advancing Multimodal Fusion on Heterogeneous Medical Data with Hybrid Geometry Attention

📄 arXiv: 2607.19086v1 📥 PDF

作者: Joy Dhar, Manish Kumar Pandey, Nayyar Zaidi, Chen Chen, Maryam Haghighat, Ferdous Sohel, Puneet Goyal

分类: cs.CV

发布日期: 2026-07-21

备注: ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

💡 一句话要点

提出CURE框架以解决异构医疗数据的多模态融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 医疗数据 深度学习 高效融合 跨模态学习 残差卷积 注意力机制 数据适应性

📋 核心要点

  1. 现有多模态融合方法难以有效捕捉复杂的跨模态交互，导致性能提升受限。
  2. 本文提出CURE框架，通过高效的HyFuse层逐步整合多种模态，提升适应性与通用性。
  3. 在16个公共数据集上的评估显示，CURE性能提升最高达3.97%，计算成本降低87.8%。

📝 摘要（中文）

多模态融合学习（MFL）在医疗领域展现出巨大潜力，但现有策略面临诸多挑战，包括难以有效捕捉复杂的跨模态交互、高计算成本以及适应性不足。为此，本文提出了一种新颖的MFL框架——级联统一表示学习高效融合网络（CURE），通过高效的混合几何感知融合层（HyFuse）逐步整合多种模态。HyFuse层采用残差卷积模块捕捉多尺度特征，并通过混合空间感知注意力混合器学习结构线索，从而提高跨模态关系的保留能力。经过在16个公共数据集上的广泛评估，CURE在性能上超越了现有的多模态融合方法，提升幅度可达3.97%，计算成本降低高达87.8%。

🔬 方法详解

问题定义：现有的多模态融合学习方法在处理异构医疗数据时，难以有效捕捉不同模态之间的复杂交互，且计算成本高，限制了其在资源受限的医疗AI应用中的适用性。

核心思路：本文提出的CURE框架通过混合几何感知融合层（HyFuse）逐步整合多种模态，旨在提高模型的适应性和通用性。HyFuse层的设计使得每种模态可以独立学习，同时又能保持跨模态的关系。

技术框架：CURE框架包括多个HyFuse层，每个层负责处理一种模态，采用残差卷积模块捕捉多尺度特征，并通过混合空间感知注意力机制学习结构线索。最后，使用可学习的晚融合和共享信息精炼模块，生成稳健的模态无关共享表示。

关键创新：CURE的主要创新在于其高效的HyFuse层设计，能够在保持低计算成本的同时，捕捉丰富的跨模态关系。这一设计与传统方法的固定模态配置形成鲜明对比，显著提升了模型的灵活性和适应性。

关键设计：CURE框架中的残差卷积模块和混合空间感知注意力混合器是关键设计，前者用于多尺度特征提取，后者用于结构线索的学习。此外，采用的损失函数和网络结构经过精心设计，以确保模型的高效学习和性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CURE框架在16个公共数据集上的评估结果显示，其性能提升最高可达3.97%，同时计算成本降低高达87.8%。这些结果表明，CURE在多模态融合学习中具有显著的优势，能够提供更高效和可靠的预测能力。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、临床决策支持和个性化医疗等。通过提高多模态数据的融合效率，CURE框架能够为医疗AI应用提供更可靠的预测，推动智能医疗的发展。未来，该方法可能在其他领域的多模态数据处理上也展现出广泛的适用性。

📄 摘要（原文）

Multimodal fusion learning (MFL) has shown great potential in the medical domain, where we are faced with disparate data modalities such as imaging, clinical records, and omics. However, existing MFL strategies face several major challenges. First, they struggle to capture complex cross-modal interactions effectively, which in turn limits performance improvements. Second, they incur high computational costs, restricting their applicability in resource-constrained healthcare AI applications. Finally, they are often designed and evaluated for narrow, fixed modality configurations (e.g., imaging-only, or specific pairs such as image and omics), which limits evidence of their adaptability and generalizability to broader collections of heterogeneous medical modalities. To address these challenges, we propose a novel MFL framework - Cascaded Unified Representation Learning for Efficient Fusion Network (CURE) - a lightweight and scalable framework that progressively integrates various modalities through a novel efficient Hybrid Geometry Aware Fusion layer (HyFuse), where each HyFuse layer is sequentially learned for each modality, making the framework adaptable and generalizable. Within HyFuse, an efficient residual convolution module captures rich multi-scale features to ensure cost-effective learning, while a hybrid-space aware attention mixer learns coarse-to-fine structural cues to better preserve cross-modal relationships. Complementary learnable late-fusion and shared information refinement modules are then employed to learn robust modality-order-invariant shared representations, which in turn yields consistent performance improvements. Extensive evaluations on 16 public datasets show that CURE outperforms leading multimodal fusion methods, boosting performance by up to 3.97% and lowering computational costs by up to 87.8%, ensuring more effective and reliable predictions.