Reason Like a Radiologist: Chain-of-Thought and Reinforcement Learning for Verifiable Report Generation

📄 arXiv: 2504.18453v1 📥 PDF

作者: Peiyuan Jing, Kinhei Lee, Zhenxuan Zhang, Huichi Zhou, Zhengqing Yuan, Zhifan Gao, Lei Zhu, Giorgos Papanastasiou, Yingying Fang, Guang Yang

分类: cs.AI, cs.CL

发布日期: 2025-04-25

💡 一句话要点

提出BoxMed-RL，通过链式思考和强化学习生成可验证的放射报告。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射报告生成 链式思考 强化学习 医学影像 视觉-语言模型

📋 核心要点

  1. 现有放射报告生成模型缺乏结构化推理，难以将视觉发现与解剖位置关联，影响临床信任。
  2. BoxMed-RL通过链式思考和强化学习，使模型模仿放射科医生的工作流程，连接医学概念与解剖证据。
  3. 实验表明，BoxMed-RL在METEOR和ROUGE-L指标上平均提升7%，大型语言模型指标提升5%。

📝 摘要（中文）

放射报告生成对于提高效率至关重要，但现有模型缺乏专家级别的结构化推理能力，无法将视觉发现与精确的解剖位置联系起来，从而降低了临床信任度和可解释性。本文介绍了一种突破性的统一训练框架BoxMed-RL，用于生成空间可验证和可解释的放射报告。BoxMed-RL建立在大型视觉-语言模型的基础上，通过两个集成阶段彻底改变了报告生成：（1）在预训练阶段，我们通过医学概念学习来改进模型，使用链式思考监督来内化类似放射科医生的工作流程，然后进行空间可验证的强化，应用强化学习将医学发现与边界框对齐。（2）在下游适配器阶段，我们冻结预训练的权重并训练下游适配器，以确保流畅和临床可信的报告。该框架精确地模仿了放射科医生的工作流程，迫使模型将高层次的医学概念与明确的解剖学证据联系起来。在公共数据集上的大量实验表明，与最先进的方法相比，BoxMed-RL在METEOR和ROUGE-L指标上平均提高了7%。基于大型语言模型的指标平均提高了5%，进一步强调了BoxMed-RL在生成高质量放射报告方面的稳健性。

🔬 方法详解

问题定义：放射报告生成任务旨在根据医学影像生成准确、可信的报告。现有方法的痛点在于缺乏类似放射科医生的结构化推理过程，难以将影像中的视觉发现与具体的解剖位置关联起来，导致报告的可解释性和临床信任度不足。

核心思路：BoxMed-RL的核心思路是通过模仿放射科医生的诊断流程，将高层次的医学概念与明确的解剖学证据联系起来。具体而言，模型首先学习医学概念，然后通过链式思考进行推理，最后利用强化学习将推理结果与影像中的边界框对齐。这样设计的目的是使模型能够像放射科医生一样，逐步分析影像并生成可验证的报告。

技术框架：BoxMed-RL包含两个主要阶段：预训练阶段和下游适配器阶段。在预训练阶段，模型首先通过医学概念学习进行微调，然后使用链式思考监督来模拟放射科医生的推理过程。接着，利用空间可验证的强化学习，将医学发现与影像中的边界框对齐。在下游适配器阶段，冻结预训练的权重，并训练一个下游适配器，以生成流畅且临床可信的报告。

关键创新：BoxMed-RL的关键创新在于其统一的训练框架，该框架集成了链式思考和强化学习，实现了空间可验证的放射报告生成。与现有方法相比，BoxMed-RL能够更好地模拟放射科医生的诊断流程，将医学概念与解剖学证据联系起来，从而提高报告的可解释性和临床信任度。

关键设计：BoxMed-RL的关键设计包括：(1) 使用链式思考监督来指导模型的推理过程；(2) 利用强化学习将医学发现与边界框对齐，实现空间可验证性；(3) 采用预训练-适配器的训练策略，在保证模型性能的同时，提高训练效率。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BoxMed-RL在公共数据集上的实验结果表明，与最先进的方法相比，在METEOR和ROUGE-L指标上平均提高了7%。此外，基于大型语言模型的评估指标也平均提高了5%，表明BoxMed-RL在生成高质量放射报告方面具有显著优势。

🎯 应用场景

BoxMed-RL可应用于辅助放射科医生进行诊断，提高诊断效率和准确性，减少人为错误。该技术还可用于医学影像教学，帮助学生理解放射科医生的诊断思路。未来，BoxMed-RL有望应用于远程医疗和智能医疗设备，为患者提供更便捷的医疗服务。

📄 摘要（原文）

Radiology report generation is critical for efficiency but current models lack the structured reasoning of experts, hindering clinical trust and explainability by failing to link visual findings to precise anatomical locations. This paper introduces BoxMed-RL, a groundbreaking unified training framework for generating spatially verifiable and explainable radiology reports. Built on a large vision-language model, BoxMed-RL revolutionizes report generation through two integrated phases: (1) In the Pretraining Phase, we refine the model via medical concept learning, using Chain-of-Thought supervision to internalize the radiologist-like workflow, followed by spatially verifiable reinforcement, which applies reinforcement learning to align medical findings with bounding boxes. (2) In the Downstream Adapter Phase, we freeze the pretrained weights and train a downstream adapter to ensure fluent and clinically credible reports. This framework precisely mimics radiologists' workflow, compelling the model to connect high-level medical concepts with definitive anatomical evidence. Extensive experiments on public datasets demonstrate that BoxMed-RL achieves an average 7% improvement in both METEOR and ROUGE-L metrics compared to state-of-the-art methods. An average 5% improvement in large language model-based metrics further underscores BoxMed-RL's robustness in generating high-quality radiology reports.