Integrating Text and Time-Series into (Large) Language Models to Predict Medical Outcomes

📄 arXiv: 2509.13696v1 📥 PDF

作者: Iyadh Ben Cheikh Larbi, Ajay Madhavan Ravichandran, Aljoscha Burchardt, Roland Roller

分类: cs.CL

发布日期: 2025-09-17

备注: Presented and published at BioCreative IX

💡 一句话要点

利用DSPy优化提示，将文本和时间序列融入LLM以预测医疗结果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 时间序列 临床预测 提示工程 指令微调 DSPy 医疗应用

📋 核心要点

  1. 现有大型语言模型在处理包含时间序列等结构化数据的临床分类任务中存在局限性。
  2. 论文提出利用DSPy进行提示优化，调整指令微调的LLM，使其能够同时处理临床文本和结构化EHR数据。
  3. 实验结果表明，该方法在性能上可与复杂的多模态系统媲美，同时降低了模型复杂度和提高了任务适应性。

📝 摘要（中文）

大型语言模型（LLM）在文本生成方面表现出色，但它们处理涉及结构化数据（如时间序列）的临床分类任务的能力仍有待探索。本文采用基于DSPy的提示优化方法，调整指令微调的LLM，以联合处理临床笔记和结构化的EHR输入。结果表明，这种方法在性能上与专门的多模态系统相当，同时降低了复杂性，并提供了更强的跨任务适应性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在处理临床分类任务时，无法有效利用结构化数据（特别是时间序列数据）的问题。现有方法通常需要构建专门的多模态系统，这些系统复杂且难以适应不同的临床任务。

核心思路：论文的核心思路是利用提示工程（Prompt Engineering）和指令微调（Instruction Tuning）来引导LLM学习如何同时处理文本和时间序列数据。通过精心设计的提示，LLM可以更好地理解和利用结构化数据中的信息，从而提高临床预测的准确性。

技术框架：该方法主要包含以下几个阶段：1) 数据预处理：将临床笔记和结构化的EHR数据进行清洗和格式化。2) 提示构建：使用DSPy框架自动优化提示，以指导LLM完成临床分类任务。3) 模型微调：使用优化后的提示和临床数据对指令微调的LLM进行微调。4) 评估：在不同的临床分类任务上评估模型的性能。

关键创新：最重要的技术创新点在于使用DSPy框架自动优化提示，从而使LLM能够更好地理解和利用结构化数据。与传统的手动设计提示相比，DSPy能够自动搜索最优的提示策略，从而提高模型的性能和泛化能力。此外，该方法避免了构建复杂的多模态系统，降低了模型的复杂性。

关键设计：论文中使用了指令微调的LLM作为基础模型，并使用DSPy框架自动搜索最优的提示策略。具体的提示设计和优化过程未知，但可以推测其目标是使LLM能够理解时间序列数据的含义，并将其与临床笔记中的信息相结合，从而做出准确的临床预测。损失函数和网络结构等细节信息未知。

📊 实验亮点

实验结果表明，通过DSPy优化的提示，指令微调的LLM在临床分类任务上取得了与专门的多模态系统相当的性能。这意味着该方法可以在降低模型复杂性的同时，保持甚至提高预测准确性。具体的性能数据和对比基线未知，但论文强调了该方法在任务适应性方面的优势。

🎯 应用场景

该研究成果可应用于多种医疗场景，例如疾病诊断、预后预测、风险评估等。通过整合临床文本和时间序列数据，可以为医生提供更全面、准确的决策支持，提高医疗质量和效率。未来，该方法有望推广到其他领域，例如金融、工业等，以解决类似的数据融合和预测问题。

📄 摘要（原文）

Large language models (LLMs) excel at text generation, but their ability to handle clinical classification tasks involving structured data, such as time series, remains underexplored. In this work, we adapt instruction-tuned LLMs using DSPy-based prompt optimization to process clinical notes and structured EHR inputs jointly. Our results show that this approach achieves performance on par with specialized multimodal systems while requiring less complexity and offering greater adaptability across tasks.