From Image Interpretation to Clinical Reasoning: Upstream Physician-Context-Aware Multimodal Learning with Causal Reinforcement Learning

📄 arXiv: 2609.38924v1 📥 PDF

作者: Jialu Pi, Yanan Ma, Weijie Chen, Owen Crystal, Shubham Trivedi, Stephen Xie, Anna Silverman, Matthew Stib, Chadi Ayoub, Reza Arsanjani, Imon Banerjee

分类: cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出因果强化学习框架以提升心血管事件预测能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心血管事件 因果强化学习 多模态学习 临床推理 医学影像 风险预测 机器学习

📋 核心要点

  1. 现有医学视觉语言模型主要集中于放射学解读，缺乏对心血管事件的预后推理能力。
  2. 提出的因果强化学习框架结合了胸部X光和临床历史，优化了证据选择与推理过程。
  3. 在多个数据集上评估后，框架的AUROC分别为0.720、0.760和0.845，显著提升了推理质量和预测性能。

📝 摘要（中文）

心血管重大不良事件（MACE）是全球主要的死亡原因。利用常规临床数据进行机会性筛查可以在急性事件发生前识别高风险个体。尽管胸部X光（CXR）能够捕捉潜在的心血管生物标志物，现有的医学视觉语言模型主要优化于放射学解读，而非预后推理。本文提出了一种因果强化学习框架，结合CXR和医生撰写的临床历史，以实现MACE的机会性预测。该框架引入了角色解耦的双重大语言模型架构、双重动作因果强化学习策略以及因果令牌修剪，经过评估，提出的框架在多个数据集上均优于单模态基线和现有的医学视觉语言模型，显示出更高的推理质量和预测性能。

🔬 方法详解

问题定义：本文旨在解决现有医学视觉语言模型在心血管重大不良事件（MACE）预测中的不足，特别是在预后推理方面的挑战。现有方法多侧重于放射学解读，缺乏对临床历史的有效利用。

核心思路：提出的因果强化学习框架通过整合胸部X光（CXR）和医生撰写的临床历史，优化了证据选择与推理过程，旨在提高MACE的预测准确性。

技术框架：该框架包括三个主要模块：角色解耦的双重大语言模型架构、双重动作因果强化学习策略和因果令牌修剪。双重大语言模型架构将推理与风险预测分开，增强了模型的灵活性和准确性。

关键创新：最重要的创新在于角色解耦的双重大语言模型架构和因果令牌修剪技术，这些设计使得模型能够更有效地处理多模态数据，提升了推理质量与预测性能。

关键设计：在模型设计中，采用了双重动作因果强化学习策略来优化证据选择过程，并通过因果令牌修剪技术学习紧凑的多模态表示，确保了模型在不同患者群体中的鲁棒性。具体的损失函数和参数设置在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的框架在内部队列、急诊部门队列和外部MIMIC数据集上的AUROC分别达到了0.720、0.760和0.845，均显著优于单模态基线和现有的医学视觉语言模型。同时，推理质量得到了显著提升，获得了更高的GREEN分数和专家偏好。

🎯 应用场景

该研究的潜在应用领域包括医院急诊部门和心血管疾病筛查项目。通过结合影像学和临床历史数据，该框架能够帮助医生在早期识别高风险患者，从而提高临床决策的效率和准确性，最终降低心血管事件的发生率。

📄 摘要（原文）

Major adverse cardiovascular events (MACE) remain the leading cause of mortality worldwide. Opportunistic screening using routinely acquired clinical data offers a scalable approach for identifying high-risk individuals before acute events occur. Although chest X-rays (CXRs) capture latent cardiovascular biomarkers and clinical histories provide complementary patient context, existing medical vision-language models are primarily optimized for radiology interpretation rather than prognostic reasoning. We propose a causal reinforcement learning framework for multimodal clinical reasoning that integrates CXRs and physician-authored clinical histories for opportunistic MACE prediction. The framework introduces (1) a role-decoupled dual-LLM architecture that separates reasoning from risk prediction, (2) a dual-action causal reinforcement learning policy for evidence selection and reasoning optimization, and (3) causal token pruning to learn compact multimodal representations. Evaluated on an internal cohort, an emergency department cohort, and the external MIMIC dataset, the proposed framework consistently outperformed unimodal baselines and state-of-the-art medical vision-language models, achieving AUROCs of 0.720, 0.760, and 0.845, respectively. It also substantially improved reasoning quality, achieving higher GREEN scores and higher expert preference while maintaining robust predictive performance across diverse patient populations.