DIGOM: Disentangled Interaction Graphs for Outcome prediction in Multimodal healthcare

📄 arXiv: 2610.32451v1 📥 PDF

作者: Hakima Laribi, Olivier Lefebvre, Dan Poenaru, Martin Vallières

分类: cs.LG, cs.AI

发布日期: 2026-10-23

💡 一句话要点

提出DIGOM以解决多模态医疗数据的临床结果预测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态医疗 临床结果预测 图基学习 稀疏图 交互建模 深度学习 机器学习

📋 核心要点

  1. 现有方法在处理多模态医疗数据时，未能有效捕捉模态间的复杂关系，限制了临床结果的预测能力。
  2. DIGOM通过联合建模三种类型的交互，采用稀疏多重图结构，能够灵活捕捉患者间和模态间的关系。
  3. 在MIMIC-IV和NIH-TB两个数据集上，DIGOM在五个临床预测任务中均取得最高的AUROC，同时连接数少于现有方法，显示出更好的效果。

📝 摘要（中文）

多模态医疗数据包含超越单一患者观察的关系信息，因此有效的临床结果预测不仅需要整合多种模态的信息，还需建模它们之间的关系。标准的融合方法未能显式捕捉这些交互，而现有的图基方法通常只建模其中的一部分。本文提出DIGOM（Disentangled Interaction Graphs for Outcome prediction in Multimodal healthcare），一个图基框架，联合建模三种互补的交互类型：患者内部跨模态、患者间同模态和患者间跨模态交互。DIGOM学习稀疏的多重图，采用解耦视图编码患者间模态对之间的交互。通过可微机制采样离散邻接矩阵，支持端到端学习，允许模型选择信息丰富的关系而不强加固定邻居数。正则化目标保持整体图的稀疏性，而消息传递将这种关系上下文整合到患者表示中以进行结果预测。

🔬 方法详解

问题定义：本文旨在解决多模态医疗数据中复杂关系建模不足的问题，现有方法未能有效整合不同模态的信息，导致临床结果预测的准确性降低。

核心思路：DIGOM通过联合建模患者内部跨模态、患者间同模态和患者间跨模态三种交互类型，采用稀疏多重图结构，灵活捕捉模态间的关系，提升预测性能。

技术框架：DIGOM的整体架构包括三个主要模块：交互类型建模、稀疏图学习和消息传递。首先，通过解耦视图编码不同模态间的交互；其次，利用可微机制采样邻接矩阵；最后，通过消息传递整合关系上下文。

关键创新：DIGOM的主要创新在于其稀疏多重图结构和解耦视图设计，使得模型能够自适应选择重要的关系，而不依赖于固定的邻居数，这与现有方法有本质区别。

关键设计：在模型设计中，采用正则化目标以保持图的稀疏性，损失函数通过消息传递整合关系信息，确保最终的患者表示能够有效用于结果预测。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MIMIC-IV和NIH-TB数据集上，DIGOM在五个临床预测任务中均取得最高的AUROC，且使用的连接数显著少于现有多交互方法，显示出更高的效率和准确性。此外，DIGOM对缺失模态表现出更强的鲁棒性，表明其学习到的关系提供了互补信息。

🎯 应用场景

DIGOM的研究成果在多模态医疗数据分析中具有广泛的应用潜力，能够帮助医生更准确地预测患者的临床结果，提升医疗决策的科学性和有效性。未来，该方法还可扩展到其他领域，如个性化医疗和健康管理，推动智能医疗的发展。

📄 摘要（原文）

Multimodal healthcare data contain relational information that extends beyond individual patient observations. Effective clinical outcome prediction therefore requires not only integrating information from multiple modalities, but also modeling the relationships between them. Standard fusion approaches do not explicitly capture these interactions, while existing graph-based approaches typically model only a subset of them. We propose DIGOM (Disentangled Interaction Graphs for Outcome prediction in Multimodal healthcare), a graph-based framework that jointly models three complementary interaction types: Intra-patient cross-modal, Cross-patient same-modal, and Cross-patient cross-modal interactions. DIGOM learns a sparse multiplex graph with disentangled views, each encoding interactions between pairs of modalities across patients. Discrete adjacency matrices with patient-adaptive connectivity are sampled via a differentiable mechanism, enabling end-to-end learning and allowing the model to select informative relationships without imposing a fixed number of neighbors. A regularization objective maintains overall graph sparsity, while message passing integrates this relational context into patient representations for outcome prediction. We evaluate DIGOM on two multimodal healthcare datasets, MIMIC-IV and NIH-TB, across five clinical prediction tasks. DIGOM achieves the highest AUROC on all five tasks while using fewer connections than existing multi-interaction approaches. Ablation studies reveal that each interaction type's contribution varies across tasks, highlighting the need to adapt relational structures per task. DIGOM also demonstrates greater robustness to missing modalities, suggesting learned relationships provide complementary information when modalities are unavailable. Post-hoc analyses further reveal task- and outcome-specific connectivity patterns in the learned graphs.