Large language models show systematic failures in incorporating evolving medical knowledge
作者: Min Zeng, Zaifu Zhan, Kai Yu, Rui Zhang
分类: cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出ChronoEvo以解决大型语言模型在医学知识更新中的不足
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 医学知识 临床决策 知识更新 模型评估 修订显著性干预 医疗人工智能
📋 核心要点
- 核心问题：大型语言模型在更新医学知识时存在识别与纳入的显著差距，影响临床决策的准确性。
- 方法要点：提出ChronoEvo，通过分析1,709条医学知识修订，评估模型对新指导的识别与纳入能力。
- 实验或效果：研究显示，模型在识别修订方面表现良好，但在完全纳入新指导上存在显著不足，揭示了LLM的可靠性挑战。
📝 摘要（中文）
医学知识随着临床指南的修订而不断演变，但大型语言模型（LLMs）是否能够准确反映这些变化尚不明确。本文提出ChronoEvo，涵盖1,709条推荐级别的修订，识别修订指导与临床推荐之间的差异。研究发现，尽管90.8%的响应识别了修订，80.2%在临床上是正确的，但仅有58.5%完全纳入了新指导，显示出32.3个百分点的识别与纳入差距。这一现象在14个模型中持续存在，并通过两位临床医生对300个响应的评估得到了验证，验证样本中差距达到40.3个百分点。修订的强度和患者资格的变化与过时指导的保留有关。修订显著性干预减少了过时内容的保留，提高了临床正确性，但未显著改善完全纳入。这些发现表明，尽管有更新的指南证据，如何忠实纳入不断演变的医学知识仍是临床LLM可靠性的一大挑战。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在医学知识更新中存在的识别与纳入差距问题。现有方法未能有效将最新的临床指南纳入模型的推荐中，导致临床决策可能基于过时的信息。
核心思路：论文提出ChronoEvo，通过系统分析医学知识的修订，区分模型对修订的识别与实际纳入，从而评估其在临床应用中的可靠性。这样的设计旨在揭示模型在处理动态医学知识时的不足之处。
技术框架：研究采用了一个包含1,709条修订的数据库，分析了12种医学知识变化形式。通过对14个不同的语言模型进行评估，比较它们在识别和纳入新指导方面的表现。
关键创新：最重要的技术创新在于引入了修订显著性干预，旨在提高模型对新指导的纳入能力。这一方法与现有的单一识别能力评估方法本质上不同，强调了纳入的必要性。
关键设计：在实验中，模型的评估不仅依赖于识别准确性，还考虑了临床正确性和完全纳入的比例。通过对比不同模型的表现，研究揭示了影响模型纳入能力的关键因素，如推荐强度和患者资格。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管90.8%的响应能够识别修订，80.2%的响应在临床上是正确的，但仅有58.5%完全纳入了新指导，导致32.3个百分点的识别与纳入差距。通过修订显著性干预，过时内容的保留显著减少，临床正确性有所提高，但完全纳入的改善不显著。
🎯 应用场景
该研究的潜在应用领域包括医疗决策支持系统、临床助手和医学教育等。通过提高大型语言模型对最新医学知识的纳入能力，可以增强其在实际医疗场景中的可靠性和有效性，进而改善患者的治疗结果。未来，随着医学知识的不断更新，如何确保模型的适应性将是一个重要的研究方向。
📄 摘要（原文）
Medical knowledge evolves as clinical guidelines revise recommendations, yet whether large language models (LLMs) faithfully incorporate such changes remains unclear. We introduce ChronoEvo, comprising 1,709 recommendation-level revisions across 12 forms of medical knowledge change, to distinguish recognition of revised guidance from incorporation into clinical recommendations. In the primary model, 90.8% of responses recognized revisions and 80.2% were clinically correct, but only 58.5% fully incorporated guidance, yielding a 32.3-percentage-point recognition-incorporation gap. This dissociation persisted across 14 models and was corroborated by two clinicians' adjudicated assessment of 300 responses, yielding a 40.3-percentage-point gap in the validation sample. Changes in recommendation strength and patient eligibility were associated with retention of outdated guidance. A revision-salience intervention reduced outdated-content retention and improved clinical correctness but did not significantly improve full incorporation. These findings identify faithful incorporation of evolving medical knowledge as a distinct challenge for clinical LLM reliability, even when updated guideline evidence is available.