Evaluating Large Language Models on Misconceptions in Multi-Turn Medical Conversations

📄 arXiv: 2607.12884v1 📥 PDF

作者: Monica Munnangi, Saiph Savage

分类: cs.CL

发布日期: 2026-07-14

备注: Accepted to MLHC 2026

💡 一句话要点

提出ThReadMed-QA以评估多轮医疗对话中的误解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医疗对话 误解识别 多轮对话 数据集构建 模型评估 安全医疗

📋 核心要点

  1. 现有的评估框架无法有效捕捉大型语言模型在多轮医疗对话中处理误解的能力，导致潜在的安全隐患。
  2. 本文提出ThReadMed-QA数据集，专注于多轮医疗对话中的误解识别与纠正，提供了系统评估的基础。
  3. 实验结果表明，尽管模型在初次交互中表现良好，但在后续对话中性能显著下降，显示出误差传播的影响。

📝 摘要（中文）

患者在寻求医疗信息时，常常会提出包含错误假设或误解的问题。在这种情况下，安全的医疗沟通不仅需要回答问题，还需识别并纠正潜在的错误信念。当前的评估框架未能有效捕捉模型在多轮对话中的表现，尤其是误解如何在对话中出现、持续或演变。为此，本文引入了ThReadMed-QA数据集，包含2437个患者-医生对话线程和8204个问答对，旨在系统评估模型在多轮上下文中识别和纠正误解的能力。实验结果显示，即使是先进的模型在初次交互中能够纠正约85%的误解，但在后续对话中表现显著下降，强调了需要新的评估框架以捕捉多轮行为。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在多轮医疗对话中对患者误解的识别与纠正能力不足的问题。现有方法未能有效评估模型在此类对话中的表现，导致潜在的医疗安全风险。

核心思路：论文提出了ThReadMed-QA数据集，包含真实患者与医生的对话数据，旨在通过多轮对话的上下文来评估模型的误解识别与纠正能力。这样的设计使得研究能够更贴近实际医疗场景。

技术框架：整体架构包括数据集构建、模型评估和结果分析三个主要模块。数据集由2437个对话线程和8204个问答对组成，模型评估采用基于评分标准的LLM-as-a-Judge框架，分析模型在多轮对话中的表现。

关键创新：最重要的技术创新在于引入了多轮对话的评估框架，能够系统地捕捉模型在处理误解时的行为变化。这与现有方法的单轮评估形成鲜明对比。

关键设计：在实验中，采用了基于评分标准的评估方法，重点关注模型识别和纠正误解的能力。实验结果显示，模型在初次交互中的表现良好，但在后续对话中性能显著下降，强调了误差传播的影响。具体的参数设置和损失函数未在摘要中详细说明，需参考完整论文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GPT-5和Claude-Haiku在初次问题中能够纠正约85%的误解，但在两次后续提问中降至约50%。这一结果表明，尽管模型在单轮交互中表现良好，但在多轮对话中存在显著的性能下降，强调了误差传播的影响。

🎯 应用场景

该研究的潜在应用领域包括医疗咨询、在线健康平台和智能医疗助手等。通过提高大型语言模型在多轮对话中的误解识别与纠正能力，可以显著提升患者的安全性和满意度，减少医疗误导的风险。未来，该研究可能推动更安全的医疗对话系统的开发。

📄 摘要（原文）

Patients seeking medical information often ask questions that embed incorrect assumptions or misconceptions. In such cases, safe medical communication requires not only answering the question, but identifying and correcting the underlying false belief. These interactions naturally unfold over multiple turns, a pattern now mirrored in interactions with LLMs. Yet current evaluation frameworks do not capture model behavior in these settings, where misconceptions can emerge, persist, or evolve over the course of a conversation. Whether LLMs can reliably correct such misconceptions over time remains largely unexamined. To study this, we introduce ThReadMed-QA, a multi-turn medical dialogue dataset of 2,437 patient-physician conversation threads comprising 8,204 question-answer pairs, derived from real patient interactions on AskDocs. This dataset enables systematic evaluation of whether models can detect and correct misconceptions under a multi-turn context. We evaluate five LLMs using a rubric-based LLM-as-a-Judge framework that scores responses based on their ability to identify and correct misconceptions. Our experiments reveal a consistent pattern: even frontier models that can address misconceptions in a single interaction degrade substantially over subsequent turns. GPT-5 and Claude-Haiku correct these false presuppositions around 85% on initial questions but drop to roughly 50% within two follow-ups. An oracle analysis replacing prior model outputs with physician responses shows that much of the degradation is driven by error propagation, while performance remains imperfect even under correct context. Even when models tend to correct misconceptions initially, their performance degrades substantially over later turns, leading to inconsistent and potentially unsafe guidance in patient-facing settings and highlighting the need for evaluation frameworks that capture multi-turn behavior.