Training LLMs for EHR-Based Reasoning Tasks via Reinforcement Learning

📄 arXiv: 2505.24105v1 📥 PDF

作者: Jiacheng Lin, Zhenbang Wu, Jimeng Sun

分类: cs.CL

发布日期: 2025-05-30

💡 一句话要点

EHRMIND：利用强化学习训练LLM进行电子病历推理任务

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 电子病历 强化学习 监督微调 临床推理 医疗健康 知识注入

📋 核心要点

  1. 现有LLM在电子病历推理任务中面临知识误用和知识缺失的挑战，限制了其在医疗领域的应用。
  2. EHRMIND通过监督微调注入领域知识，并利用强化学习优化决策过程，从而提升LLM的临床推理能力。
  3. 实验表明，EHRMIND在医学计算、患者-试验匹配和疾病诊断等任务上均取得了显著的性能提升。

📝 摘要（中文）

本文提出EHRMIND，一种利用可验证奖励的强化学习(RLVR)来调整大型语言模型(LLM)以适应复杂临床推理任务的实用方法。尽管RLVR在数学和编码领域取得了成功，但由于电子病历(EHR)解释所需的专业知识和推理，其在医疗保健领域的应用面临独特的挑战。在MEDCALC基准上的初步研究揭示了两个关键的失败模式：(1)知识误用，模型拥有相关的医学知识但应用不正确；(2)知识缺失，模型缺乏必要的领域知识。为了解决这些问题，EHRMIND采用两阶段解决方案：轻量级的监督微调(SFT)预热，注入缺失的领域知识，稳定后续训练，并鼓励结构化、可解释的输出；然后是RLVR，它强化结果的正确性并改进模型的决策。我们证明了该方法在各种临床应用中的有效性，包括医学计算(MEDCALC)、患者-试验匹配(TREC CLINICAL TRIALS)和疾病诊断(EHRSHOT)。EHRMIND在准确性、可解释性和跨任务泛化方面都取得了持续的提升。这些发现为应用RLVR来增强LLM在医疗保健环境中的能力提供了实用的指导。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在电子病历（EHR）数据上的临床推理任务中表现不佳的问题。现有的LLM虽然拥有一定的医学知识，但在实际应用中常常出现知识误用或知识缺失的情况，导致推理结果不准确，阻碍了LLM在医疗领域的应用。

核心思路：论文的核心思路是采用两阶段的训练方法，首先通过监督微调（SFT）为LLM注入必要的领域知识，然后利用可验证奖励的强化学习（RLVR）来优化模型的决策过程。这种方法旨在解决LLM的知识不足和推理不准确的问题，使其能够更好地理解和利用EHR数据。

技术框架：EHRMIND框架包含两个主要阶段：(1) 监督微调（SFT）阶段：使用医学知识相关的文本数据对LLM进行微调，使其掌握必要的领域知识，并鼓励模型生成结构化、可解释的输出。(2) 强化学习（RLVR）阶段：使用强化学习算法，根据模型在临床推理任务中的表现给予奖励，从而优化模型的决策过程，提高推理准确性。

关键创新：EHRMIND的关键创新在于将监督微调和强化学习相结合，形成一个完整的训练流程。通过监督微调，LLM可以快速掌握领域知识，为后续的强化学习提供良好的基础。而强化学习则可以进一步优化模型的决策过程，使其能够更好地适应复杂的临床推理任务。此外，使用可验证的奖励函数也是一个创新点，确保强化学习过程的稳定性和可靠性。

关键设计：在监督微调阶段，论文选择轻量级的微调策略，避免过度拟合。在强化学习阶段，论文设计了可验证的奖励函数，根据模型输出的正确性给予奖励。具体的奖励函数设计可能包括基于专家知识的规则或基于外部知识库的验证。此外，论文可能还采用了特定的强化学习算法，如Proximal Policy Optimization (PPO)，并对相关参数进行了调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EHRMIND在MEDCALC、TREC CLINICAL TRIALS和EHRSHOT等多个临床任务上都取得了显著的性能提升。例如，在MEDCALC任务上，EHRMIND相较于基线模型取得了XX%的准确率提升。实验结果表明，EHRMIND不仅提高了模型的准确性，还增强了模型的可解释性和跨任务泛化能力。

🎯 应用场景

EHRMIND具有广泛的应用前景，可用于辅助医生进行疾病诊断、制定治疗方案、进行药物研发等。通过提高LLM在电子病历数据上的推理能力，EHRMIND可以显著提升医疗服务的效率和质量，并为患者提供更个性化的医疗服务。未来，该技术有望应用于智能问诊、健康管理等领域。

📄 摘要（原文）

We present EHRMIND, a practical recipe for adapting large language models (LLMs) to complex clinical reasoning tasks using reinforcement learning with verifiable rewards (RLVR). While RLVR has succeeded in mathematics and coding, its application to healthcare contexts presents unique challenges due to the specialized knowledge and reasoning required for electronic health record (EHR) interpretation. Our pilot study on the MEDCALC benchmark reveals two key failure modes: (1) misapplied knowledge, where models possess relevant medical knowledge but apply it incorrectly, and (2) missing knowledge, where models lack essential domain knowledge. To address these cases, EHRMIND applies a two-stage solution: a lightweight supervised fine-tuning (SFT) warm-up that injects missing domain knowledge, stabilizes subsequent training, and encourages structured, interpretable outputs; followed by RLVR, which reinforces outcome correctness and refines the model's decision-making. We demonstrate the effectiveness of our method across diverse clinical applications, including medical calculations (MEDCALC), patient-trial matching (TREC CLINICAL TRIALS), and disease diagnosis (EHRSHOT). EHRMIND delivers consistent gains in accuracy, interpretability, and cross-task generalization. These findings offer practical guidance for applying RLVR to enhance LLM capabilities in healthcare settings.