Improving Expert Radiology Report Summarization by Prompting Large Language Models with a Layperson Summary

📄 arXiv: 2406.14500v1 📥 PDF

作者: Xingmeng Zhao, Tongnian Wang, Anthony Rios

分类: cs.CL

发布日期: 2024-06-20

💡 一句话要点

提出基于通俗化摘要提示的大语言模型，提升放射科报告总结的准确性和可访问性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射科报告总结 大语言模型 通俗化摘要 提示学习 医学自然语言处理

📋 核心要点

  1. 放射科报告总结需要将专业术语转化为简洁的结论，现有方法难以有效连接通用术语和具体影像发现。
  2. 该论文提出先生成一份面向非专业人士的通俗化摘要，再利用其提示大语言模型生成最终总结。
  3. 实验结果表明，该方法在多个数据集上，尤其是在领域外测试中，显著提升了总结的准确性和可访问性。

📝 摘要（中文）

放射科报告总结（RRS）对于患者护理至关重要，它需要从详细的“发现”中提取简洁的“印象”。本文提出了一种新颖的提示策略，通过首先生成一份通俗化的摘要来增强RRS。这种方法利用受医患互动启发的非专家沟通技巧，规范化关键观察结果并简化复杂信息。结合少样本上下文学习，该方法提高了模型将通用术语与特定发现联系起来的能力。我们在MIMIC-CXR、CheXpert和MIMIC-III数据集上评估了该方法，并以Meta-Llama-3-8B-Instruct等7B/8B参数的最先进开源大语言模型（LLM）作为基准。结果表明，该方法提高了总结的准确性和可访问性，尤其是在领域外测试中，某些指标的改进高达5%。

🔬 方法详解

问题定义：放射科报告总结（RRS）旨在从详细的影像报告中提取关键信息，生成简洁的“印象”部分。现有方法难以将报告中的专业术语与最终总结中的通用术语有效关联，导致总结结果不够准确或难以理解。尤其是在领域外数据上，现有方法的泛化能力较差。

核心思路：该论文的核心思路是利用通俗化摘要作为桥梁，连接原始报告和最终总结。首先，将原始报告转化为一份面向非专业人士的通俗易懂的摘要，其中关键信息被规范化和简化。然后，将该通俗化摘要作为提示，引导大语言模型生成最终的放射科报告总结。这样设计的目的是让模型更好地理解报告中的关键信息，并将其转化为更准确、更易于理解的总结。

技术框架：该方法包含两个主要阶段：1) 生成通俗化摘要。可以使用现有的文本摘要模型或专门训练的模型来完成。2) 利用通俗化摘要提示大语言模型生成最终总结。将通俗化摘要与原始报告一起作为输入，通过少样本上下文学习的方式，引导大语言模型生成“印象”部分。整体流程是：原始报告 -> 通俗化摘要 -> (原始报告 + 通俗化摘要) -> 大语言模型 -> 最终总结。

关键创新：该论文最重要的技术创新点在于引入了通俗化摘要作为提示。与直接使用原始报告提示大语言模型相比，通俗化摘要能够更好地规范化关键信息，简化复杂术语，从而提高模型对报告内容的理解能力。这种方法尤其适用于处理包含大量专业术语的放射科报告。

关键设计：在实验中，作者使用了Meta-Llama-3-8B-Instruct等开源大语言模型。通俗化摘要的生成可以使用现有的摘要模型，也可以专门训练一个模型。少样本上下文学习中，需要选择合适的示例来引导大语言模型生成高质量的总结。具体的损失函数和网络结构取决于所使用的大语言模型和摘要模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在MIMIC-CXR、CheXpert和MIMIC-III数据集上均取得了显著的性能提升。尤其是在领域外测试中，某些指标的改进高达5%。与直接使用原始报告提示大语言模型相比，该方法能够生成更准确、更易于理解的放射科报告总结。Meta-Llama-3-8B-Instruct等开源大语言模型被用作基线模型，证明了该方法的有效性。

🎯 应用场景

该研究成果可应用于临床辅助诊断、医学教育和患者沟通等领域。通过自动生成高质量的放射科报告总结，可以帮助医生快速了解患者病情，提高诊断效率。同时，通俗化的摘要也有助于患者理解自己的病情，促进医患之间的有效沟通。未来，该技术有望集成到医疗信息系统中，为临床决策提供更全面的支持。

📄 摘要（原文）

Radiology report summarization (RRS) is crucial for patient care, requiring concise "Impressions" from detailed "Findings." This paper introduces a novel prompting strategy to enhance RRS by first generating a layperson summary. This approach normalizes key observations and simplifies complex information using non-expert communication techniques inspired by doctor-patient interactions. Combined with few-shot in-context learning, this method improves the model's ability to link general terms to specific findings. We evaluate this approach on the MIMIC-CXR, CheXpert, and MIMIC-III datasets, benchmarking it against 7B/8B parameter state-of-the-art open-source large language models (LLMs) like Meta-Llama-3-8B-Instruct. Our results demonstrate improvements in summarization accuracy and accessibility, particularly in out-of-domain tests, with improvements as high as 5% for some metrics.