RECAP: Towards Precise Radiology Report Generation via Dynamic Disease Progression Reasoning

📄 arXiv: 2310.13864v1 📥 PDF

作者: Wenjun Hou, Yi Cheng, Kaishuai Xu, Wenjie Li, Jiang Liu

分类: cs.CL

发布日期: 2023-10-21

备注: Accepted by Findings of EMNLP 2023

💡 一句话要点

提出RECAP以解决放射科报告生成中的精确属性建模问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 放射科报告生成 动态推理 疾病进展建模 时空信息 深度学习

📋 核心要点

  1. 现有方法主要关注简洁观察，忽视了疾病严重性的精确属性建模，导致报告不准确。
  2. RECAP通过动态疾病进展推理，结合历史记录和时空信息，生成更精确的放射科报告。
  3. 在两个公开数据集上的广泛实验表明，RECAP在报告生成的准确性和精确性上显著优于现有方法。

📝 摘要（中文）

自动化放射科报告生成可以显著减轻放射科医生的工作负担。以往的研究主要集中在实现高度简洁的观察结果，而忽视了决定疾病严重性的精确属性（如小量胸腔积液）。由于不正确的属性会导致不精确的放射科报告，因此加强生成过程中的精确属性建模变得必要。此外，历史记录中包含的时间信息在评估患者当前状况时至关重要（例如，心脏大小未变），但在很大程度上被忽视。为了解决这些问题，我们提出了RECAP，通过动态疾病进展推理生成精确和准确的放射科报告。

🔬 方法详解

问题定义：本论文旨在解决放射科报告生成中对疾病严重性精确属性建模不足的问题。现有方法往往忽略了历史记录中的时间信息，导致生成的报告不够准确。

核心思路：RECAP的核心思路是通过动态疾病进展推理，结合历史记录和时空信息，来生成更为精确的放射科报告。这种设计能够更好地捕捉疾病的变化和患者的当前状况。

技术框架：RECAP的整体架构包括三个主要模块：首先，利用两幅连续的放射图像预测观察结果和疾病进展；其次，结合历史记录和时空信息；最后，通过疾病进展图和动态推理机制生成最终报告。

关键创新：RECAP的最重要创新在于引入了动态疾病进展推理机制和疾病进展图，这使得模型能够准确选择每个观察和进展的属性，与现有方法相比，显著提高了报告的精确性。

关键设计：在模型设计中，关键参数设置和损失函数的选择经过精心调整，以确保模型在生成报告时能够充分利用历史记录和时空信息，网络结构则采用了适合处理时序数据的深度学习架构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在两个公开数据集上的实验结果显示，RECAP在报告生成的准确性上相比于基线方法提升了显著的百分比，具体性能数据表明其在精确属性建模方面的优势，为放射科报告生成提供了新的思路。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、放射科自动化报告生成及智能医疗系统。通过提高报告生成的准确性，RECAP可以帮助放射科医生更高效地工作，减少误诊率，提升患者的治疗效果，未来可能在临床实践中发挥重要作用。

📄 摘要（原文）

Automating radiology report generation can significantly alleviate radiologists' workloads. Previous research has primarily focused on realizing highly concise observations while neglecting the precise attributes that determine the severity of diseases (e.g., small pleural effusion). Since incorrect attributes will lead to imprecise radiology reports, strengthening the generation process with precise attribute modeling becomes necessary. Additionally, the temporal information contained in the historical records, which is crucial in evaluating a patient's current condition (e.g., heart size is unchanged), has also been largely disregarded. To address these issues, we propose RECAP, which generates precise and accurate radiology reports via dynamic disease progression reasoning. Specifically, RECAP first predicts the observations and progressions (i.e., spatiotemporal information) given two consecutive radiographs. It then combines the historical records, spatiotemporal information, and radiographs for report generation, where a disease progression graph and dynamic progression reasoning mechanism are devised to accurately select the attributes of each observation and progression. Extensive experiments on two publicly available datasets demonstrate the effectiveness of our model.