Integrating clinical reasoning into large language model-based diagnosis through etiology-aware attention steering

📄 arXiv: 2508.00285v1 📥 PDF

作者: Peixian Li, Yu Tian, Ruiqi Tu, Chengkai Wu, Jingjing Ren, Jingsong Li

分类: cs.CL

发布日期: 2025-08-01

备注: 23 pages, 8 figures

💡 一句话要点

提出Etiology-Aware Attention Steering框架，提升LLM在复杂临床场景下的诊断准确性和临床推理能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床推理 注意力机制 医疗诊断 病因感知

📋 核心要点

  1. 现有LLM在医学文本理解和生成方面表现出色，但在复杂临床场景下的诊断可靠性仍有局限。
  2. 提出Etiology-Aware Attention Steering框架，通过病因感知注意力引导，将结构化临床推理融入LLM诊断。
  3. 实验结果表明，该框架在诊断准确率和推理焦点得分上均有显著提升，验证了其有效性。

📝 摘要（中文）

本文旨在提升大型语言模型（LLMs）在复杂临床场景下的诊断准确性和临床推理能力。为此，我们提出了一个Etiology-Aware Attention Steering框架，将结构化的临床推理融入到基于LLM的诊断中。具体而言，我们首先基于权威临床指南，针对三种代表性的急性腹部急症（急性阑尾炎、急性胰腺炎和急性胆囊炎）构建了临床推理支架（CRS）。然后，我们开发了Etiology-Aware Head Identification算法，以精确定位对模型病因推理至关重要的注意力头。为了确保可靠的临床推理对齐，我们引入了Reasoning-Guided Parameter-Efficient Fine-tuning，将病因推理线索嵌入到输入表示中，并通过Reasoning-Guided Loss函数引导所选的Etiology-Aware Heads关注关键信息。在一致性诊断队列上，我们的框架将平均诊断准确率提高了15.65%，并将平均推理焦点得分提高了31.6%。在不一致性诊断队列上的外部验证进一步证实了其在提高诊断准确性方面的有效性。通过推理注意力频率的进一步评估表明，我们的模型在面对真实世界的复杂场景时表现出更高的可靠性。本研究提出了一种实用有效的方法来增强基于LLM诊断的临床推理能力。通过将模型注意力与结构化的CRS对齐，所提出的框架为在复杂临床环境中构建更具可解释性和可靠性的AI诊断系统提供了一个有希望的范例。

🔬 方法详解

问题定义：现有大型语言模型（LLMs）在医疗诊断领域展现出潜力，但其在复杂临床场景下的诊断可靠性仍然不足。现有的方法缺乏对临床推理过程的有效整合，导致模型难以像医生一样进行深入的病因分析，从而影响诊断的准确性和可解释性。

核心思路：本文的核心思路是通过将结构化的临床推理过程融入到LLM中，引导模型关注与病因相关的关键信息。具体来说，通过构建临床推理支架（CRS）来显式地表示疾病的病因、症状和诊断之间的关系，并利用注意力机制引导模型学习这些关系，从而提高诊断的准确性和可解释性。

技术框架：该框架主要包含三个阶段：1) 构建临床推理支架（CRS）：基于权威临床指南，针对特定疾病构建包含病因、症状和诊断信息的结构化知识图谱。2) Etiology-Aware Head Identification：设计算法识别LLM中对病因推理至关重要的注意力头。3) Reasoning-Guided Parameter-Efficient Fine-tuning：通过将病因推理线索嵌入输入表示，并利用Reasoning-Guided Loss函数引导所选注意力头关注关键信息，从而实现对LLM的微调。

关键创新：该论文的关键创新在于提出了Etiology-Aware Attention Steering框架，该框架能够将结构化的临床推理过程有效地融入到LLM中。与现有方法相比，该框架能够更精确地引导模型关注与病因相关的关键信息，从而提高诊断的准确性和可解释性。此外，Etiology-Aware Head Identification算法能够自动识别对病因推理至关重要的注意力头，避免了手动选择的繁琐和主观性。

关键设计：Reasoning-Guided Loss函数是关键设计之一，其目的是引导所选的Etiology-Aware Heads关注与病因推理相关的关键信息。该损失函数基于CRS构建，通过最小化模型预测与CRS中病因、症状和诊断之间关系的差异，从而实现对注意力头的有效引导。此外，Reasoning-Guided Parameter-Efficient Fine-tuning采用参数高效微调策略，能够在保证性能的同时，减少计算资源的消耗。

📊 实验亮点

在一致性诊断队列上，该框架将平均诊断准确率提高了15.65%，并将平均推理焦点得分提高了31.6%。在不一致性诊断队列上的外部验证进一步证实了其在提高诊断准确性方面的有效性。通过推理注意力频率的进一步评估表明，该模型在面对真实世界的复杂场景时表现出更高的可靠性。

🎯 应用场景

该研究成果可应用于构建更可靠、可解释的AI辅助诊断系统，尤其是在复杂临床场景下。医生可以利用该系统进行辅助诊断，提高诊断效率和准确性，减少误诊率。此外，该方法还可以推广到其他医学领域，例如慢性病管理、药物研发等，具有广阔的应用前景。

📄 摘要（原文）

Objective: Large Language Models (LLMs) demonstrate significant capabilities in medical text understanding and generation. However, their diagnostic reliability in complex clinical scenarios remains limited. This study aims to enhance LLMs' diagnostic accuracy and clinical reasoning ability. Method: We propose an Etiology-Aware Attention Steering Framework to integrate structured clinical reasoning into LLM-based diagnosis. Specifically, we first construct Clinical Reasoning Scaffolding (CRS) based on authoritative clinical guidelines for three representative acute abdominal emergencies: acute appendicitis, acute pancreatitis, and acute cholecystitis. Next, we develop the Etiology-Aware Head Identification algorithm to pinpoint attention heads crucial for the model's etiology reasoning. To ensure reliable clinical reasoning alignment, we introduce the Reasoning-Guided Parameter-Efficient Fine-tuning that embeds etiological reasoning cues into input representations and steers the selected Etiology-Aware Heads toward critical information through a Reasoning-Guided Loss function. Result: On the Consistent Diagnosis Cohort, our framework improves average diagnostic accuracy by 15.65% and boosts the average Reasoning Focus Score by 31.6% over baselines. External validation on the Discrepant Diagnosis Cohort further confirms its effectiveness in enhancing diagnostic accuracy. Further assessments via Reasoning Attention Frequency indicate that our models exhibit enhanced reliability when faced with real-world complex scenarios. Conclusion: This study presents a practical and effective approach to enhance clinical reasoning in LLM-based diagnosis. By aligning model attention with structured CRS, the proposed framework offers a promising paradigm for building more interpretable and reliable AI diagnostic systems in complex clinical settings.