RePrompT: Recurrent Prompt Tuning for Integrating Structured EHR Encoders with Large Language Models

📄 arXiv: 2604.17725v1 📥 PDF

作者: Arya Hadizadeh Moghaddam, Drew Ross, Mohsen Nayebi Kerdabadi, Dongjie Wang, Zijun Yao

分类: cs.CL, cs.AI

发布日期: 2026-04-20

备注: Finding of ACL 2026 - Accepted Paper

💡 一句话要点

RePrompT：通过循环Prompt Tuning整合结构化EHR编码器与大语言模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 电子健康记录 大型语言模型 Prompt Tuning 循环神经网络 临床预测

📋 核心要点

  1. 现有方法将结构化EHR转换为文本输入LLM，丢失了时间信息和代码关系，限制了模型性能。
  2. RePrompT通过循环prompt tuning，整合EHR编码器，保留时间信息，并注入人群层面的知识。
  3. 在MIMIC-III和MIMIC-IV数据集上，RePrompT在多个临床预测任务中显著优于现有EHR和LLM方法。

📝 摘要（中文）

大型语言模型（LLM）在挖掘电子健康记录（EHR）方面展现出强大的潜力，它们能够推理纵向临床信息，从而捕获富含上下文的患者轨迹。然而，将LLM应用于结构化EHR（例如，标准化的诊断和药物代码）面临两个关键挑战。首先，将带有时间戳的EHR序列翻译成纯文本可能会模糊时间结构和代码标识，从而削弱捕获代码共现和纵向规律的能力。其次，与在患者之间学习共享、任务对齐的表示空间的队列训练预测模型不同，LLM通常应用于病例隔离的推理设置，其中每个患者都是独立处理的，而没有利用人群层面的模式。为了应对这些挑战，我们引入了RePrompT，这是一个时间感知的LLM框架，它通过prompt tuning整合结构化EHR编码器，而无需修改底层架构。具体来说，RePrompT循环地结合来自先前就诊的潜在状态，以保留纵向信息，并通过从队列训练的、任务对齐的EHR编码器导出的可训练prompt tokens注入人群层面的信息。在MIMIC-III和MIMIC-IV上的实验表明，RePrompT在多个临床预测任务中始终优于基于EHR和基于LLM的基线。

🔬 方法详解

问题定义：论文旨在解决将大型语言模型（LLM）应用于结构化电子健康记录（EHR）时遇到的两个主要问题。一是将时间戳EHR序列转换为文本会丢失时间结构和代码标识，影响模型捕捉代码共现和纵向规律的能力。二是LLM通常以病例隔离的方式应用，无法利用人群层面的模式，而传统的队列训练模型可以学习到任务对齐的表示空间。

核心思路：RePrompT的核心思路是通过prompt tuning将结构化EHR编码器与LLM集成，从而在不修改LLM底层架构的前提下，保留时间信息并注入人群层面的知识。通过循环机制保留时间信息，并通过可训练的prompt tokens注入人群层面的信息。

技术框架：RePrompT框架包含以下主要模块：1) 结构化EHR编码器：用于将EHR数据编码为低维向量表示。2) 循环Prompt Tuning模块：循环地结合来自先前就诊的潜在状态，并通过可训练的prompt tokens注入人群层面的信息。3) LLM：利用prompt tuning后的输入进行临床预测。整体流程是，EHR数据首先通过EHR编码器，然后通过循环Prompt Tuning模块，最后输入到LLM进行预测。

关键创新：RePrompT的关键创新在于其循环Prompt Tuning机制，该机制能够有效地保留EHR数据中的时间信息，并注入人群层面的知识。与现有方法相比，RePrompT不需要将EHR数据转换为文本，避免了信息损失，并且能够利用人群层面的模式。

关键设计：RePrompT的关键设计包括：1) EHR编码器的选择：可以使用各种现有的EHR编码器，如GRU、Transformer等。2) 循环Prompt Tuning模块的结构：可以使用各种循环神经网络结构，如LSTM、GRU等。3) Prompt tokens的初始化：可以使用随机初始化或基于EHR编码器的输出进行初始化。4) 损失函数：可以使用交叉熵损失函数等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RePrompT在MIMIC-III和MIMIC-IV数据集上的多个临床预测任务中，始终优于基于EHR和基于LLM的基线方法。具体的性能提升数据未知，但摘要强调了其一致的优越性，表明RePrompT在整合结构化EHR和LLM方面具有显著优势。

🎯 应用场景

RePrompT可应用于多种临床预测任务，例如疾病诊断、药物推荐、预后预测等。该研究有助于提升LLM在医疗领域的应用效果，为临床决策提供更准确、更可靠的依据，具有重要的实际应用价值和潜在的未来影响。

📄 摘要（原文）

Large Language Models (LLMs) have shown strong promise for mining Electronic Health Records (EHRs) by reasoning over longitudinal clinical information to capture context-rich patient trajectories. However, leveraging LLMs for structured EHRs (e.g., standardized diagnosis and medication codes) presents two key challenges. First, translating time-stamped EHR sequences into plain text can obscure both temporal structure and code identities, weakening the ability to capture code co-occurrence and longitudinal regularities. Second, unlike cohort-trained predictive models that learn a shared, task-aligned representation space across patients, LLMs are often applied in a case-isolated inference setting where each patient is processed independently without leveraging population-level patterns. To address these challenges, we introduce RePrompT, a time-aware LLM framework that integrates structured EHR encoders through prompt tuning, without modifying underlying architectures. Specifically, RePrompT recurrently incorporates latent states from prior visits to preserve longitudinal information, and injects population-level information through trainable prompt tokens derived from a cohort-trained, task-aligned EHR encoder. Experiments on MIMIC-III and MIMIC-IV demonstrate that RePrompT consistently outperforms both EHR-based and LLM-based baselines across multiple clinical prediction tasks.