Large Language Models as Unified Multimodal Learners for Clinical Prediction

📄 arXiv: 2607.15380 📥 PDF

作者: Ajay Madhavan Ravichandran, Bilgin Osmandoja, Klemens Budde, Klaus Netter, Tobias Strapatsas, Aljoscha Burchardt, Sebastian Möller, Roland Roller

分类: cs.CL, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出统一多模态学习模型以简化临床预测系统

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 临床预测 自然语言处理 电子健康记录 模型微调 数据序列化

📋 核心要点

  1. 现有的临床预测系统依赖于特定任务的融合架构，导致系统复杂性高且难以适应新任务。
  2. 本文提出将所有患者数据转换为单一自然语言序列，使用预训练语言模型进行端到端微调，简化了融合过程。
  3. 在三项不同的临床预测任务中，统一文本序列化方法的性能与专用多模态基线相当，且在移植失败预测中表现优于现有的临床模型。

📝 摘要（中文）

电子健康记录结合了自由文本的临床叙述与结构化的测量数据，如生命体征、实验室值和合并症。然而，大多数临床预测系统仍依赖于特定任务的融合架构，为每个模态配备专用编码器，并需为每个新任务和临床环境重新设计组合机制。本文提出了一种更简单的替代方案：将所有患者数据，无论模态如何，转换为单一自然语言序列，并对预训练的语言模型进行端到端的微调，无需架构修改。我们在三项临床预测任务上评估了该方法，结果表明统一的文本序列化方法在性能上与特定任务的多模态基线相匹配或超越，并在移植失败预测中优于当前临床实践中使用的梯度提升模型。这表明，无需定制的融合架构，单一序列化范式足以实现多模态临床预测，显著降低系统复杂性，同时匹配或超越专业设计。

🔬 方法详解

问题定义：本文旨在解决现有临床预测系统的复杂性问题，现有方法需要为每个新任务重新设计融合架构，导致效率低下。

核心思路：提出将所有模态的数据转换为单一的自然语言序列，利用预训练的语言模型进行微调，避免了复杂的融合机制。

技术框架：整体流程包括数据预处理、序列化处理和模型微调三个主要阶段。数据预处理将不同模态的数据整合为文本序列，随后使用预训练语言模型进行微调。

关键创新：最重要的创新在于采用统一的文本序列化方法，消除了对专用融合架构的需求，使得模型更为简洁高效。

关键设计：在模型微调过程中，采用了标准的损失函数和优化算法，确保模型能够有效学习不同模态数据的特征。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，统一文本序列化方法在三项临床预测任务中均表现优异，尤其在移植失败预测中超越了当前临床实践中使用的梯度提升模型，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括医院的临床决策支持系统、患者管理和紧急医疗服务等。通过简化多模态数据处理，能够提高临床预测的效率和准确性，未来可能对医疗行业产生深远影响。

📄 摘要（原文）

Electronic health records combine free-text clinical narratives with structured measurements such as vital signs, laboratory values, and comorbidities. Yet most clinical prediction systems still rely on task-specific fusion architectures, pairing dedicated encoders for each modality with learned combination mechanisms that must be re-engineered for every new task and clinical setting. We propose a simpler alternative: convert all patient data, regardless of modality, into a single natural language sequence and fine-tune a pretrained language model end-to-end, with no architectural modification for fusion. We evaluate this approach across three clinically distinct prediction tasks: in-hospital mortality on MIMIC-III, graft failure prediction using longitudinal data from a German transplant center, and emergency triage classification from ambulance records - comparing encoder-based (ModernBERT) and decoder-based (Llama 3.1, Gemma, DeepSeek-R1-Qwen, Qwen3) fine-tuning against established multimodal baselines and, for graft failure, a gradient boosting model currently used in clinical practice for post-transplant patient management. Across all three tasks, unified textual serialization matches or exceeds task-specific multimodal baselines, and outperforms the clinically deployed gradient boosting system on graft failure prediction. These results indicate that a single serialization-based paradigm, without bespoke fusion architectures, is sufficient for multimodal clinical prediction - substantially reducing system complexity while matching or exceeding specialized designs.