X-ray Made Simple: Lay Radiology Report Generation and Robust Evaluation
作者: Kun Zhao, Chenghao Xiao, Sixing Yan, Haoteng Tang, William K. Cheung, Noura Al Moubayed, Liang Zhan, Chenghua Lin
分类: cs.CL
发布日期: 2024-06-25 (更新: 2025-05-19)
备注: BioLaySumm shared-task 2025 official dataset
💡 一句话要点
提出Layman's RRG框架，解决放射报告生成中评估鲁棒性不足和患者理解困难的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 放射报告生成 自然语言处理 医学图像 语义评估 多模态学习
📋 核心要点
- 现有放射报告生成模型评估指标（如BLEU）易受报告模板影响，导致评估结果虚高，无法真实反映模型性能。
- 论文提出Layman's RRG框架，通过构建通俗易懂的放射报告数据集，并设计基于语义的评估方法，提升模型对报告语义的理解。
- 实验结果表明，在Layman's terms数据集上训练的模型能够更好地关注报告的语义，并揭示了训练数据量与语义增益之间的缩放规律。
📝 摘要（中文）
放射报告生成(RRG)随着多模态生成模型的发展取得了显著进展。尽管如此，该领域在评估方面仍然面临重大挑战，因为现有指标缺乏鲁棒性和公平性。我们发现，在现有基于词汇的指标（如BLEU）上表现良好的RRG可能只是一个假象——模型可能仅仅通过学习报告的模板就获得了很高的BLEU分数。由于这些报告的高度模式化特性，这已成为RRG的一个紧迫问题。此外，标准的放射报告通常技术性很强。从患者的角度来看，帮助患者理解这些报告至关重要，但之前的研究在很大程度上忽略了这一点。在这项工作中，我们反直觉地通过提出Layman's RRG框架来解决这些问题，该框架可以系统地用日常语言改进RRG。具体来说，我们的框架首先贡献了一个翻译成通俗易懂术语的数据集。基于该数据集，我们然后提出了一种基于语义的评估方法，该方法有效地缓解了BLEU的虚高，并提供了更强大的评估。我们表明，在通俗易懂的术语数据集上进行训练鼓励模型关注报告的语义，而不是过度拟合学习报告模板。最后，我们揭示了训练样本数量与我们的数据集提供的语义增益之间存在有希望的缩放规律，相比之下，原始格式带来了相反的模式。
🔬 方法详解
问题定义：放射报告生成(RRG)领域面临两个主要问题：一是现有评估指标（如BLEU）容易被报告模板所欺骗，导致评估结果虚高；二是标准放射报告技术性强，患者难以理解。现有方法无法有效解决这两个问题，阻碍了RRG的实际应用。
核心思路：论文的核心思路是构建一个通俗易懂的放射报告数据集（Layman's terms dataset），并基于该数据集提出一种基于语义的评估方法。通过在通俗易懂的数据集上训练，模型可以更好地学习报告的语义，而不是过度拟合报告模板。基于语义的评估方法能够更准确地评估模型的语义理解能力。
技术框架：Layman's RRG框架包含两个主要组成部分：1) Layman's terms dataset的构建：将标准的放射报告翻译成通俗易懂的语言，构建一个平行语料库。2) 基于语义的评估方法：设计一种能够衡量模型生成报告语义准确性的评估指标，该指标能够有效抑制BLEU等词汇指标的虚高现象。
关键创新：论文的关键创新在于：1) 构建了首个通俗易懂的放射报告数据集，为RRG研究提供了一个新的资源。2) 提出了一种基于语义的评估方法，能够更准确地评估模型的语义理解能力，解决了现有评估指标的不足。3) 揭示了训练数据量与语义增益之间的缩放规律，为RRG模型训练提供了指导。
关键设计：Layman's terms dataset的构建过程需要仔细设计翻译策略，确保翻译后的报告既通俗易懂，又能准确表达原始报告的语义。基于语义的评估方法需要选择合适的语义表示方法（例如，使用预训练的语言模型提取语义特征），并设计合适的相似度度量函数。
🖼️ 关键图片
📊 实验亮点
论文构建了Layman's terms dataset，并提出了一种基于语义的评估方法。实验结果表明，在Layman's terms dataset上训练的模型能够更好地关注报告的语义，有效缓解了BLEU指标的虚高现象。此外，论文还揭示了训练数据量与语义增益之间的缩放规律，为RRG模型训练提供了指导。
🎯 应用场景
该研究成果可应用于智能医疗领域，帮助医生更高效地生成放射报告，并为患者提供易于理解的报告解读，提升患者的就医体验和健康管理水平。未来，该方法可以推广到其他医疗报告生成任务中，促进医疗人工智能的发展。
📄 摘要（原文）
Radiology Report Generation (RRG) has advanced considerably with the development of multimodal generative models. Despite the progress, the field still faces significant challenges in evaluation, as existing metrics lack robustness and fairness. We reveal that, RRG with high performance on existing lexical-based metrics (e.g. BLEU) might be more of a mirage - a model can get a high BLEU only by learning the template of reports. This has become a pressing issue for RRG due to the highly patternized nature of these reports. In addition, standard radiology reports are often highly technical. Helping patients understand these reports is crucial from a patient's perspective, yet this has been largely overlooked in previous work. In this work, we un-intuitively approach these problems by proposing the Layman's RRG framework that can systematically improve RRG with day-to-day language. Specifically, our framework first contributes a translated Layman's terms dataset. Building upon the dataset, we then propose a semantics-based evaluation method, which is effective in mitigating the inflated numbers of BLEU and provides more robust evaluation. We show that training on the layman's terms dataset encourages models to focus on the semantics of the reports, as opposed to overfitting to learning the report templates. Last, we reveal a promising scaling law between the number of training examples and semantics gain provided by our dataset, compared to the inverse pattern brought by the original formats.