Using Large Language Models To Translate Machine Results To Human Results

📄 arXiv: 2512.24518v1 📥 PDF

作者: Trishna Niraula, Jonathan Stubblefield

分类: cs.CV

发布日期: 2025-12-30

备注: 11 pages, 7 figures, 3 tables

💡 一句话要点

利用大型语言模型将机器结果转化为人类可读的放射报告

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 医学影像 放射报告生成 目标检测 YOLO GPT-4 自然语言生成

📋 核心要点

  1. 医学影像AI系统虽在检测任务表现出色，但输出的结构化结果需人工转化为叙述性报告，效率较低。
  2. 该论文提出结合YOLO目标检测模型与大型语言模型，构建自动生成放射报告的pipeline。
  3. 实验表明，生成的报告在语义上与人类报告相似，但在写作流畅性方面仍有提升空间。

📝 摘要（中文）

人工智能（AI）已经变革了医学影像领域，计算机视觉（CV）系统在分类和检测任务中取得了最先进的性能。然而，这些系统通常输出结构化的预测结果，需要放射科医生将其转化为完整的叙述性报告。大型语言模型（LLM），如GPT-4，为弥合这一差距提供了新的机会，可以通过结构化发现生成诊断叙述。本研究介绍了一个pipeline，集成了YOLOv5和YOLOv8用于胸部X光图像中的异常检测，并结合大型语言模型（LLM）生成自然语言放射报告。YOLO模型产生边界框预测和类别标签，然后将其传递给LLM以生成描述性发现和临床总结。在检测精度、推理延迟以及生成文本的质量（通过与ground-truth报告的余弦相似度衡量）方面，对YOLOv5和YOLOv8进行了比较。结果表明，AI报告和人类报告之间存在很强的语义相似性，而人工评估显示GPT-4在清晰度方面表现出色（4.88/5），但在自然写作流畅性方面得分较低（2.81/5），表明当前系统实现了临床准确性，但在文体上仍然与放射科医生撰写的文本有区别。

🔬 方法详解

问题定义：论文旨在解决医学影像AI系统输出结果难以直接转化为放射科医生可用的自然语言报告的问题。现有方法依赖人工翻译，效率低且易出错。痛点在于如何自动、准确地将机器的结构化预测转化为人类可理解的叙述性报告。

核心思路：核心思路是利用大型语言模型（LLM）强大的自然语言生成能力，将目标检测模型（YOLOv5/YOLOv8）的结构化输出（边界框、类别标签）作为LLM的输入，从而生成放射报告。这样可以将计算机视觉的检测能力与自然语言处理的生成能力相结合。

技术框架：整体框架包含两个主要模块：1) 基于YOLOv5/YOLOv8的目标检测模块，用于检测胸部X光图像中的异常；2) 基于大型语言模型（GPT-4）的报告生成模块，用于将YOLO的输出转化为自然语言报告。流程如下：输入X光图像 -> YOLO检测 -> LLM生成报告 -> 输出报告。

关键创新：关键创新在于将目标检测模型与大型语言模型相结合，构建了一个端到端的自动放射报告生成pipeline。与传统方法相比，该方法无需人工干预，可以显著提高报告生成效率。此外，论文还比较了YOLOv5和YOLOv8在报告生成任务中的性能差异。

关键设计：YOLO模型采用预训练权重进行初始化，并针对胸部X光图像进行微调。LLM采用GPT-4，通过prompt engineering来指导其生成报告。Prompt的设计需要考虑如何将YOLO的输出信息有效地传递给LLM，并引导LLM生成准确、流畅的报告。报告质量通过与ground-truth报告的余弦相似度进行评估，并进行人工评估。

📊 实验亮点

实验结果表明，基于YOLO和GPT-4生成的放射报告与人类报告具有较高的语义相似性。人工评估显示，GPT-4在报告的清晰度方面表现出色（4.88/5），但在自然写作流畅性方面仍有提升空间（2.81/5）。这表明当前系统在临床准确性方面已达到较高水平，但在文体风格上仍需进一步改进。

🎯 应用场景

该研究成果可应用于临床放射科，辅助医生快速生成初步的放射报告，提高诊断效率，减轻医生工作负担。未来，该技术可扩展到其他医学影像领域，例如CT、MRI等，并可与其他AI辅助诊断工具集成，构建更智能化的医疗影像分析系统。此外，该技术在远程医疗和资源匮乏地区具有重要应用价值。

📄 摘要（原文）

Artificial intelligence (AI) has transformed medical imaging, with computer vision (CV) systems achieving state-of-the-art performance in classification and detection tasks. However, these systems typically output structured predictions, leaving radiologists responsible for translating results into full narrative reports. Recent advances in large language models (LLMs), such as GPT-4, offer new opportunities to bridge this gap by generating diagnostic narratives from structured findings. This study introduces a pipeline that integrates YOLOv5 and YOLOv8 for anomaly detection in chest X-ray images with a large language model (LLM) to generate natural-language radiology reports. The YOLO models produce bounding-box predictions and class labels, which are then passed to the LLM to generate descriptive findings and clinical summaries. YOLOv5 and YOLOv8 are compared in terms of detection accuracy, inference latency, and the quality of generated text, as measured by cosine similarity to ground-truth reports. Results show strong semantic similarity between AI and human reports, while human evaluation reveals GPT-4 excels in clarity (4.88/5) but exhibits lower scores for natural writing flow (2.81/5), indicating that current systems achieve clinical accuracy but remain stylistically distinguishable from radiologist-authored text.