A rubric landscape for evaluating clinical reasoning in large language models: what exists, what is missing, and what needs to be combined
作者: Zhangshu Joshua Jiang, Zina Ibrahim, James T. Teo
分类: cs.CL, cs.AI
发布日期: 2026-10-01
备注: 13 pages, 1 table. Structured narrative review
💡 一句话要点
构建临床推理评估标准以提升大语言模型的临床应用能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 临床推理 大型语言模型 评估工具 医学教育 推理可信度 反事实推理 校准不确定性
📋 核心要点
- 现有评估工具无法全面覆盖临床推理的六个维度，导致评估结果的可靠性不足。
- 本文提出通过二元评分项、独立的完整性和正确性评分等方式，结合现有工具以提升评估效果。
- 研究表明，现有工具在问题表征和推理方面表现良好，但可信度仍是最薄弱的维度，亟需改进。
📝 摘要（中文）
现有的考试风格准确性无法证明大型语言模型（LLMs）在临床记录上的推理能力。我们将临床推理定义为整合和更新跨时间和来源的证据，以形成、修订和证明患者问题的表征及合理的计划。本文通过结构化叙述回顾了三类文献：医学教育评估工具、2023年后发布的临床LLM基准，以及评估长文本生成的一般方法。我们考察了六个维度：问题表征、时间综合、差异和管理推理、反事实推理、校准不确定性和推理的可信度。现有工具未能覆盖所有六个维度，且在某些维度上存在可靠性差异。本文提供了设计依据，而非验证工具。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在临床推理评估中的不足，尤其是缺乏全面覆盖六个维度的评估工具。现有方法在问题表征和推理方面的可靠性存在差异，无法有效支持临床决策。
核心思路：论文提出将现有评估工具进行组合，通过引入二元评分项和独立的完整性与正确性评分，来提升评估的全面性和准确性。这样的设计旨在确保评估工具能够更好地反映临床推理的复杂性。
技术框架：整体架构包括文献回顾、现有工具的评估、以及提出的组合方案。主要模块包括问题表征、时间综合、推理的可信度等六个维度的分析与整合。
关键创新：最重要的技术创新在于提出了结合现有评估工具的综合方案，特别是在校准不确定性和反事实推理方面的设计思路，与传统单一工具的评估方式形成鲜明对比。
关键设计：关键设计包括二元评分项的设置、完整性与正确性评分的独立性、案例特定的重要性加权，以及时间顺序一致性检查等技术细节，这些设计旨在提高评估的可靠性和有效性。
🖼️ 关键图片
📊 实验亮点
研究表明，现有工具在问题表征和推理方面的覆盖率较高，但在可信度维度上仍显不足。通过提出的组合评估方案，有望显著提升评估的全面性和准确性，尤其是在校准不确定性和反事实推理方面的应用潜力。
🎯 应用场景
该研究的潜在应用领域包括医学教育、临床决策支持系统和大型语言模型的评估标准制定。通过提升评估工具的全面性和准确性，能够更好地支持临床实践，提高患者安全性和治疗效果。未来，该研究可能推动临床推理评估的标准化进程。
📄 摘要（原文）
Exam-style accuracy does not establish whether large language models (LLMs) reason well over clinical records. We define clinical reasoning as integrating and updating evidence across time and sources to form, revise and justify a patient's problem representation and a defensible plan. This structured narrative review maps three literatures: medical education assessment instruments, clinical LLM benchmarks published from 2023 onwards, and general-domain methods for evaluating long-form generation. We examine six dimensions: problem representation, temporal synthesis, differential and management reasoning, counterfactual reasoning, calibrated uncertainty, and reasoning faithfulness. Preprints are included and flagged. No single instrument covers all six dimensions. Problem representation and differential or management reasoning are reasonably covered, although reliability varies by instrument and setting. TIMER-Eval targets temporal synthesis, and ER-Reason assesses sequential diagnostic belief updating. Dedicated uncertainty and counterfactual evaluations are emerging, but their applicability to longitudinal free-text reasoning remains limited. Factual completeness is well theorised in general-domain evaluation, with early clinical evidence of important omissions. Faithfulness remains the weakest dimension, with one identified clinical causal-ablation study on multiple-choice questions. Existing tools should be combined through binary rubric items, separate completeness and correctness scores, case-specific importance weighting with non-compensable safety caps, temporal order-consistency checks, and chance-corrected reliability reporting. Further design work is needed for calibrated uncertainty, counterfactual reasoning and faithfulness over longitudinal free-text records. This review provides a design rationale, not a validated instrument.