Exploring the Boundaries of GPT-4 in Radiology

📄 arXiv: 2310.14573v1 📥 PDF

作者: Qianchu Liu, Stephanie Hyland, Shruthi Bannur, Kenza Bouzid, Daniel C. Castro, Maria Teodora Wetscherek, Robert Tinn, Harshita Sharma, Fernando Pérez-García, Anton Schwaighofer, Pranav Rajpurkar, Sameer Tajdin Khanna, Hoifung Poon, Naoto Usuyama, Anja Thieme, Aditya V. Nori, Matthew P. Lungren, Ozan Oktay, Javier Alvarez-Valle

分类: cs.CL

发布日期: 2023-10-23

备注: EMNLP 2023 main

💡 一句话要点

评估GPT-4在放射学报告中的应用性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 放射学 自然语言处理 性能评估 提示策略 医学文本分析

📋 核心要点

  1. 现有放射学模型在处理文本应用时存在性能不足的问题，尤其是在复杂任务中。
  2. 本文提出通过评估GPT-4在放射学报告中的应用，探索其在多种任务中的表现与现有模型的对比。
  3. 实验结果显示，GPT-4在多个放射学任务中表现优异，尤其在零-shot和示例提示下均取得显著提升。

📝 摘要（中文）

近年来，通用大型语言模型（LLMs）的成功显著改变了自然语言处理的范式。本文重点评估了迄今为止最强大的LLM——GPT-4在放射学报告文本应用中的表现，并与当前最先进的放射学特定模型进行了比较。通过探索多种提示策略，我们在多种常见放射学任务中评估了GPT-4，发现其性能与现有最先进模型相当或更优。在零-shot提示下，GPT-4在时间句子相似性分类和自然语言推理任务中取得了约10%的绝对提升。对于需要学习特定数据集风格或结构的任务，GPT-4通过示例提示进一步提升，达到监督学习的最先进水平。经过与认证放射科医师的广泛错误分析，GPT-4展现出足够的放射学知识，仅在需要细致领域知识的复杂上下文中偶尔出现错误。

🔬 方法详解

问题定义：本文旨在解决放射学报告文本应用中现有模型性能不足的问题，尤其是在复杂任务中的表现。现有方法在处理特定领域知识时往往存在局限性。

核心思路：论文的核心思路是评估GPT-4在放射学文本任务中的能力，通过多种提示策略来提升其表现，探索其在不同任务中的适用性。

技术框架：整体架构包括对GPT-4的多种提示策略的设计与实施，涵盖零-shot提示和示例提示等多种方式，评估其在时间句子相似性分类、自然语言推理和发现总结等任务中的表现。

关键创新：最重要的技术创新点在于将通用大型语言模型应用于特定领域的放射学任务，展示了其在多种任务中超越或匹配现有最先进模型的能力。

关键设计：在实验中，采用了多种提示策略，包括零-shot和示例提示，针对不同任务进行了细致的参数设置和性能评估，确保了模型在特定任务中的适应性与准确性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，GPT-4在时间句子相似性分类和自然语言推理任务中分别取得了约10%的绝对提升，且在发现总结任务中通过示例提示达到了监督学习的最先进水平。这些结果表明，GPT-4在放射学文本处理中的表现与现有手动撰写的印象相当。

🎯 应用场景

该研究的潜在应用领域包括放射学报告的自动生成、临床决策支持系统以及医学文本分析等。通过提升放射学文本处理的效率和准确性，GPT-4有望在医疗领域带来显著的实际价值，改善医生的工作流程，并提高患者的诊断质量。

📄 摘要（原文）

The recent success of general-domain large language models (LLMs) has significantly changed the natural language processing paradigm towards a unified foundation model across domains and applications. In this paper, we focus on assessing the performance of GPT-4, the most capable LLM so far, on the text-based applications for radiology reports, comparing against state-of-the-art (SOTA) radiology-specific models. Exploring various prompting strategies, we evaluated GPT-4 on a diverse range of common radiology tasks and we found GPT-4 either outperforms or is on par with current SOTA radiology models. With zero-shot prompting, GPT-4 already obtains substantial gains ($\approx$ 10% absolute improvement) over radiology models in temporal sentence similarity classification (accuracy) and natural language inference ($F_1$). For tasks that require learning dataset-specific style or schema (e.g. findings summarisation), GPT-4 improves with example-based prompting and matches supervised SOTA. Our extensive error analysis with a board-certified radiologist shows GPT-4 has a sufficient level of radiology knowledge with only occasional errors in complex context that require nuanced domain knowledge. For findings summarisation, GPT-4 outputs are found to be overall comparable with existing manually-written impressions.