Language Agents for Hypothesis-driven Clinical Decision Making with Reinforcement Learning

📄 arXiv: 2506.13474v1 📥 PDF

作者: David Bani-Harouni, Chantal Pellegrini, Ege Özsoy, Matthias Keicher, Nassir Navab

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-06-16

💡 一句话要点

提出基于假设驱动的语言代理以提升临床决策支持

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 临床决策支持 语言模型 强化学习 假设驱动 不确定性估计 医疗智能 深度学习

📋 核心要点

  1. 现有的临床决策支持系统往往假设所有患者信息即时可用，未能有效模拟医生的互动和迭代调查过程。
  2. 本文提出了一种假设驱动的不确定性感知语言代理LA-CDM，通过反复请求相关测试来优化诊断过程。
  3. 在MIMIC-CDM数据集上进行评估，结果显示该方法在诊断性能和效率上均有显著提升。

📝 摘要（中文）

临床决策是一种动态、互动且循环的过程，医生需要不断决定采取何种临床行动，并考虑新发现的信息。尽管大型语言模型（LLMs）在此过程中具有潜力，但现有应用往往假设所有患者信息即时可用，或仅依赖于预训练模型的有限能力。本文提出了一种假设驱动的不确定性感知语言代理LA-CDM，通过反复请求和解释相关测试来逐步收敛于诊断。我们采用混合训练范式，结合监督学习与强化学习，针对临床决策的关键方面进行训练。实验结果表明，明确训练临床决策能够提高诊断性能和效率。

🔬 方法详解

问题定义：本文旨在解决现有临床决策支持系统在信息获取和决策迭代过程中的不足，尤其是对患者信息的即时可用性假设。

核心思路：提出LA-CDM语言代理，通过假设驱动的方式，结合不确定性感知，逐步请求和解释相关测试，以优化诊断过程。这样的设计能够更真实地模拟临床医生的决策过程。

技术框架：整体架构包括三个主要模块：假设生成模块、假设不确定性估计模块和决策优化模块。通过混合训练范式，结合监督学习和强化学习，提升模型的决策能力。

关键创新：LA-CDM的核心创新在于其假设驱动的决策过程，能够动态调整对信息的请求，区别于传统方法的静态信息处理方式。

关键设计：在训练过程中，采用了针对假设生成和不确定性估计的特定损失函数，网络结构设计上结合了深度学习模型以提高信息处理能力。

📊 实验亮点

在MIMIC-CDM数据集上的实验结果显示，LA-CDM在诊断性能上较基线模型提升了显著的准确率，且在决策效率方面也表现出更高的响应速度，验证了其在临床应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括医院的临床决策支持系统、智能医疗助手等，能够帮助医生在复杂情况下做出更为精准的诊断和治疗决策。未来，该方法有望在更广泛的医疗场景中推广，提升整体医疗服务质量。

📄 摘要（原文）

Clinical decision-making is a dynamic, interactive, and cyclic process where doctors have to repeatedly decide on which clinical action to perform and consider newly uncovered information for diagnosis and treatment. Large Language Models (LLMs) have the potential to support clinicians in this process, however, most applications of LLMs in clinical decision support suffer from one of two limitations: Either they assume the unrealistic scenario of immediate availability of all patient information and do not model the interactive and iterative investigation process, or they restrict themselves to the limited "out-of-the-box" capabilities of large pre-trained models without performing task-specific training. In contrast to this, we propose to model clinical decision-making for diagnosis with a hypothesis-driven uncertainty-aware language agent, LA-CDM, that converges towards a diagnosis via repeatedly requesting and interpreting relevant tests. Using a hybrid training paradigm combining supervised and reinforcement learning, we train LA-CDM with three objectives targeting critical aspects of clinical decision-making: accurate hypothesis generation, hypothesis uncertainty estimation, and efficient decision-making. We evaluate our methodology on MIMIC-CDM, a real-world dataset covering four abdominal diseases containing various clinical tests and show the benefit of explicitly training clinical decision-making for increasing diagnostic performance and efficiency.