Understanding Clinical Cognitive Dialogues Using Large Language Models
作者: Vishalakshi Arumugam, Dan Schumacher, Veronica Rammouz, Enrique Gonzalez Guerrero, Jeremy Davis, Anthony Rios
分类: cs.CL
发布日期: 2026-09-28
备注: 9 pages
💡 一句话要点
提出大语言模型以理解临床认知对话结构
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 临床对话 大语言模型 对话行为分类 认知评估 指令调优 推理感知微调 语料库构建 医疗人工智能
📋 核心要点
- 现有的临床对话资源缺乏对互动结构的标注，限制了对患者行为的深入研究。
- 论文提出了一个去标识化的语料库，包含多种对话行为的标注，以支持大语言模型的训练和评估。
- 实验结果表明，指令调优和推理感知微调显著提高了对话行为分类的准确性，尤其是在患者发言匹配方面。
📝 摘要（中文）
面对面的认知评估既是测试也是互动。临床医生解释任务、修复误解并适应患者反应，而患者可能会犹豫、寻求澄清或 disengage。然而，临床对话资源很少标注研究这些行为所需的互动结构。我们提供了一个去标识化的语料库，包含33个认知评估对话和8,250个发言，标注了三种发言者角色和56种对话行为。我们利用该语料库对大语言模型进行细粒度对话行为分类和下一个患者发言生成的基准测试。我们还测试了域外指令数据和解释增强训练在临床环境中的迁移效果。指令调优产生了最佳的患者发言匹配，并提高了分类准确性。推理感知的微调在LLaMA-3.1-8B变体中产生了最强的分类结果。然而，即使是最佳模型也难以区分紧密相关的对话行为，表明广泛的对话意图比细粒度的交际功能更易于识别。该语料库和基准使认知评估中的互动结构可测量，并支持后续工作。此研究不做诊断性声明，而是提供了研究这些应用所需的数据和评估框架。
🔬 方法详解
问题定义：本研究旨在解决临床认知评估中缺乏对话结构标注的问题。现有方法无法有效捕捉和分析临床对话中的复杂互动行为。
核心思路：通过构建一个包含多种对话行为标注的去标识化语料库，论文为大语言模型提供了训练和评估的基础，旨在提高对话行为的分类精度。
技术框架：整体架构包括数据收集、标注、模型训练和评估四个主要阶段。首先收集认知评估对话数据，然后进行角色和对话行为的标注，接着使用这些数据对大语言模型进行训练，最后进行性能评估。
关键创新：最重要的技术创新在于构建了一个细粒度标注的语料库，并通过指令调优和推理感知微调提升了模型在临床对话行为分类中的表现。这与现有方法的主要区别在于其针对性和细致度。
关键设计：在模型训练中，采用了特定的损失函数和网络结构，以优化对话行为的分类效果。特别是，指令调优和推理感知微调的结合显著提升了模型的性能。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，指令调优显著提高了患者发言匹配的准确性，分类准确率也得到了提升。推理感知微调在LLaMA-3.1-8B变体中表现最佳，但模型在区分紧密相关对话行为时仍存在挑战，表明细粒度分类仍需进一步研究。
🎯 应用场景
该研究的潜在应用领域包括临床教育、患者互动分析和对话系统的开发。通过提供结构化的对话数据和评估框架，研究能够帮助临床医生更好地理解患者需求，并优化临床沟通策略，未来可能对医疗行业产生深远影响。
📄 摘要（原文）
In-person cognitive assessment is both a test and an interaction. Clinicians explain tasks, repair misunderstandings, and adapt to patient responses, while patients may hesitate, seek clarification, or disengage. Yet clinical dialogue resources rarely label the interaction structure needed to study these behaviors at scale. We present an de-identified corpus of 33 cognitive assessment conversations with 8,250 utterances annotated for three speaker roles and 56 dialogue acts. We use this corpus to benchmark large language models on fine-grained dialogue-act classification and next-patient-utterance generation. We also test whether out-of-domain instruction data and explanation-augmented training transfer to this clinical setting. Instruction tuning produces the strongest patient-utterance reference matching and improves classification accuracy. Reasoning-aware fine-tuning produces the strongest classification results among the LLaMA-3.1-8B variants. However, even the best models struggle to separate closely related dialogue acts, showing that broad conversational intent is easier to recognize than fine-grained communicative function. The corpus and benchmark make interaction structure measurable in cognitive assessments and support follow-up work on conversational markers, clinician education, and carefully validated simulated patients. This work does not make diagnostic claims. Instead, it provides the data and evaluation framework needed to study these applications.