Incentivizing Tool-Use Reinforcement Learning for Post-Arrival Emergency Care Prediction

📄 arXiv: 2610.21449v1 📥 PDF

作者: Pengfei Hu, Chenwei Wu, Qiao Jin, Jun Deng, Zhiyong Lu, Liyue Shen, Yue Ning

分类: cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出TIR-EC框架以提升急救预测的工具使用强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 急救预测 强化学习 工具集成 临床决策 电子健康记录 特征选择 梯度提升树 模型优化

📋 核心要点

  1. 现有大型语言模型在急救预测任务中未能有效选择信息特征，且对数值风险的判断存在偏差。
  2. 提出的TIR-EC框架通过将EHR特征组视为工具，结合强化学习和梯度提升树教师进行训练，提升模型性能。
  3. 实验结果显示，TIR-EC在三个临床预测任务中取得最高的宏观F1得分，超越传统机器学习方法，且与更大规模的LLMs相当。

📝 摘要（中文）

大型语言模型（LLMs）能够处理结构化测量和自由文本记录，使其在急救部门预测中具有吸引力。然而，现有LLMs在基于电子健康记录（EHR）的预测任务上仍不及传统机器学习方法。本文分析指出，LLMs在选择信息特征和判断数值风险方面存在不足。为此，提出了工具集成强化学习框架TIR-EC，允许LLM调用EHR特征组作为工具，并通过梯度提升树教师提供奖励，训练LLM选择有用特征。实验结果表明，TIR-EC在三个临床预测任务中表现优异，宏观F1得分最高，超越传统机器学习基线，并与更大规模的前沿LLMs竞争。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在急救预测任务中未能有效选择信息特征和误判数值风险的问题。现有方法在这些方面的表现不如传统机器学习方法。

核心思路：TIR-EC框架通过将EHR特征组视为可调用的工具，结合强化学习的奖励机制，训练LLM选择更有用的特征，并通过反向课程逐步去除提示中的临床技能。

技术框架：TIR-EC的整体架构包括特征工具集成、强化学习训练和反向课程设计三个主要模块。特征工具集成允许LLM调用特定的EHR特征，强化学习训练通过梯度提升树教师提供奖励，反向课程则逐步去除提示中的技能。

关键创新：TIR-EC的主要创新在于将EHR特征组作为工具进行集成，并通过梯度提升树教师的奖励机制来优化LLM的特征选择能力。这一设计显著提升了模型在临床预测任务中的表现。

关键设计：在模型训练中，采用了特定的损失函数以优化特征选择，并设计了反向课程以逐步去除技能提示，从而使模型在学习过程中逐渐掌握任务特定的临床技能。整体架构的设计旨在提高模型的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在三个临床预测任务中，TIR-EC框架的4B代理模型实现了最高的宏观F1得分，超越了所有比较模型，并且在传统机器学习基线中表现优异。该模型在特征选择上表现出更高的有效性，且在工具调用次数上更为高效。

🎯 应用场景

该研究的潜在应用领域包括急救医疗、临床决策支持系统和电子健康记录分析。通过提升急救预测的准确性，TIR-EC框架能够帮助医疗工作者更好地进行风险评估和资源分配，从而改善患者的急救护理质量。未来，该方法可能在其他医疗领域的预测任务中展现出更大的价值。

📄 摘要（原文）

Large language models (LLMs) can reason over both structured measurements and free-text records, which makes them attractive for emergency department (ED) prediction. However, most existing LLMs still fall short of conventional ML methods like trees on EHR-based prediction tasks. Our controlled analysis traces this gap to two weaknesses: LLMs do not select informative features, and they misjudge what numerical values imply for risk even when given the right features. We propose TIR-EC, a tool-integrated reinforcement learning framework that addresses both. TIR-EC exposes EHR feature groups as tools the LLM can call. It trains the LLM with rewards from a gradient-boosted tree teacher, which provides a reference set of informative tools and a graded risk target. TIR-EC also distills task-specific clinical skills into the model weights through a reverse curriculum that gradually removes the skills from the prompt during RL process. Evaluation on three clinical prediction tasks shows that our 4B agent achieves the highest macro F1 of all compared models, outperforms conventional ML baselines, and is competitive with much larger frontier LLMs. Further analysis shows that TIR-EC selects more useful evidence with fewer tool calls and combines measurements more effectively.