Large language models exhibit unreliable updating of clinical judgment as patient evidence evolves

📄 arXiv: 2610.02684v1 📥 PDF

作者: Min Zeng, Rui Zhang

分类: cs.AI, cs.CL

发布日期: 2026-10-02

💡 一句话要点

提出EVLU方法以解决LLM在临床判断更新中的不可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床推理 信念更新 电子健康记录 医疗决策支持 可靠性评估

📋 核心要点

  1. 现有大型语言模型在临床判断更新中存在不可靠性，尤其是在患者证据变化时，模型往往未能有效修正其判断。
  2. 本文提出了证据验证的纵向更新（EVLU）方法，旨在通过更可靠的信念更新机制来改善LLM的临床推理能力。
  3. 实验结果表明，EVLU方法能够显著减少不可靠的判断修正，并在不同证据条件下表现出更高的可靠性。

📝 摘要（中文）

大型语言模型（LLMs）在临床推理中的应用日益受到关注，但它们在患者证据演变时是否能适当地修正判断仍不明确。本文评估了基于电子健康记录的重症监护轨迹的纵向信念更新。研究发现，在不同的LLMs中，基于先前判断的条件下，预测误差更常增加而非减少。通过控制干预，揭示了两种失效模式：一是模型对恶化的呼吸证据反应更强烈，二是先前风险的增加显著影响当前估计。提出的证据验证的纵向更新（EVLU）方法识别出更少但更可靠的修正，揭示了可靠性与覆盖率之间的权衡。这些发现将纵向信念更新确立为LLM可靠性的一个独特维度。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在临床判断更新中的不可靠性，尤其是在患者证据演变时，现有方法未能有效修正判断，导致预测误差增加。

核心思路：提出证据验证的纵向更新（EVLU）方法，通过识别更少但更可靠的修正，来提高模型在临床推理中的可靠性，旨在克服现有模型的失效模式。

技术框架：该方法包括数据收集、模型训练和评估三个主要阶段。首先，从电子健康记录中提取重症监护轨迹数据；其次，训练不同的LLMs以进行临床推理；最后，评估模型在不同证据条件下的预测性能。

关键创新：最重要的技术创新在于引入了EVLU方法，该方法通过优化信念更新过程，显著提高了模型在面对证据变化时的反应能力，与传统方法相比，能够更有效地减少预测误差。

关键设计：在模型训练中，采用了特定的损失函数来平衡预测误差与信念更新的可靠性，同时设置了不同的参数以适应多种证据条件，确保模型能够灵活应对不同的临床场景。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，EVLU方法在不同证据条件下的预测误差显著低于传统方法，尤其是在恶化的呼吸证据情况下，模型的反应能力提高了26.2个百分点，表明该方法在临床推理中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括医疗决策支持系统和智能临床助手，能够帮助医生在快速变化的临床环境中做出更可靠的判断。未来，随着模型的进一步优化，可能会在个性化医疗和远程医疗中发挥重要作用。

📄 摘要（原文）

Large language models (LLMs) are increasingly explored for clinical reasoning, but whether they appropriately revise judgments as patient evidence evolves remains unclear. We evaluated longitudinal belief updating using matched intensive-care trajectories from electronic health records. Across diverse LLMs, conditioning on a preceding judgment more often increased than reduced prediction error when estimates changed, replicated for a second endpoint. Controlled interventions revealed two failure modes. First, with preceding assessment fixed, models responded more strongly to worsening than matched improving respiratory evidence; this asymmetry persisted after headroom normalization at moderate and strong evidence levels. Second, with current evidence fixed, increasing prior risk from 10% to 90% shifted estimates by 26.2 percentage points, demonstrating causal influence of prior model beliefs. Prompting did not restore reliable updating. Evidence-Validated Longitudinal Update (EVLU) identified fewer, more reliable revisions, revealing a reliability-coverage trade-off. These findings establish longitudinal belief updating as a distinct dimension of LLM reliability.