S2D-ALIGN: Shallow-to-Deep Auxiliary Learning for Anatomically-Grounded Radiology Report Generation

📄 arXiv: 2511.11066v1 📥 PDF

作者: Jiechao Gao, Chang Liu, Yuangang Li

分类: cs.CV, cs.AI, cs.CL

发布日期: 2025-11-14

💡 一句话要点

提出S2D-Align，通过浅层到深层的辅助学习，实现解剖学相关的放射报告生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射报告生成 多模态学习 解剖学对齐 辅助学习 医学影像 自然语言处理 深度学习

📋 核心要点

  1. 现有放射报告生成方法缺乏解剖学相关的对齐，导致生成报告质量不高。
  2. S2D-Align通过浅层到深层的辅助学习策略，逐步引入不同粒度的信息来建立解剖学相关的对齐。
  3. 在MIMIC-CXR和IU X-Ray数据集上，S2D-Align取得了SOTA性能，验证了该方法有效性。

📝 摘要（中文）

放射报告生成(RRG)旨在从放射影像中自动生成诊断报告。现有方法主要利用多模态大型语言模型(MLLM)强大的跨模态生成能力，通过监督微调(SFT)优化影像和报告之间的跨模态对齐。然而，标准的SFT范式仅执行图像-文本对的实例级对齐，无法建立解剖学相关的对齐，报告的模板化特性导致生成质量欠佳。为此，我们提出S2D-Align，一种新颖的SFT范式，通过利用不同粒度的辅助信号来建立解剖学相关的对齐。S2D-Align采用浅层到深层的策略，逐步丰富对齐过程：首先进行粗粒度的放射影像-报告配对，然后引入参考报告进行实例级指导，最后利用关键短语将生成结果定位到特定的解剖学细节。为了桥接不同的对齐阶段，我们引入了一个基于内存的适配器来增强特征共享，从而整合粗粒度和细粒度的指导。在MIMIC-CXR和IU X-Ray基准数据集上的实验表明，S2D-Align相比现有方法取得了最先进的性能。消融研究验证了我们的多阶段、辅助指导方法的有效性，为增强复杂多模态生成任务中的定位能力提供了一个有希望的方向。

🔬 方法详解

问题定义：放射报告生成任务旨在根据放射影像自动生成诊断报告。现有方法主要依赖于图像-文本对的实例级对齐，忽略了报告中重要的解剖学信息，导致生成报告的质量受限，无法准确描述影像中的解剖学细节。

核心思路：S2D-Align的核心思路是通过浅层到深层的辅助学习策略，逐步引入不同粒度的信息来建立解剖学相关的对齐。从粗粒度的图像-报告配对开始，逐步引入参考报告和关键短语，从而将生成过程与特定的解剖学细节联系起来。

技术框架：S2D-Align的整体框架包含三个主要阶段：1) 粗粒度对齐：使用图像-报告对进行初始对齐；2) 实例级对齐：引入参考报告作为指导，提升生成质量；3) 解剖学细节对齐：利用关键短语将生成结果定位到特定的解剖学细节。为了桥接不同的对齐阶段，引入了一个基于内存的适配器来增强特征共享。

关键创新：S2D-Align的关键创新在于其浅层到深层的辅助学习策略，以及基于内存的适配器。通过逐步引入不同粒度的信息，S2D-Align能够建立解剖学相关的对齐，从而生成更准确、更详细的放射报告。基于内存的适配器能够有效整合不同阶段的信息，提升模型的整体性能。

关键设计：S2D-Align的关键设计包括：1) 浅层到深层的学习策略，逐步引入不同粒度的辅助信息；2) 基于内存的适配器，用于桥接不同的对齐阶段；3) 损失函数的设计，用于优化不同阶段的对齐效果。具体的参数设置和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

S2D-Align在MIMIC-CXR和IU X-Ray数据集上取得了SOTA性能，显著优于现有方法。消融实验验证了多阶段辅助学习策略的有效性，证明了引入解剖学相关信息能够有效提升放射报告的生成质量。具体性能提升数据未知。

🎯 应用场景

该研究成果可应用于医疗影像诊断辅助系统，帮助医生快速生成高质量的放射报告，提高诊断效率和准确性。此外，该方法也可推广到其他多模态生成任务中，例如图像描述生成、视频字幕生成等，具有广泛的应用前景。

📄 摘要（原文）

Radiology Report Generation (RRG) aims to automatically generate diagnostic reports from radiology images. To achieve this, existing methods have leveraged the powerful cross-modal generation capabilities of Multimodal Large Language Models (MLLMs), primarily focusing on optimizing cross-modal alignment between radiographs and reports through Supervised Fine-Tuning (SFT). However, by only performing instance-level alignment with the image-text pairs, the standard SFT paradigm fails to establish anatomically-grounded alignment, where the templated nature of reports often leads to sub-optimal generation quality. To address this, we propose \textsc{S2D-Align}, a novel SFT paradigm that establishes anatomically-grounded alignment by leveraging auxiliary signals of varying granularities. \textsc{S2D-Align} implements a shallow-to-deep strategy, progressively enriching the alignment process: it begins with the coarse radiograph-report pairing, then introduces reference reports for instance-level guidance, and ultimately utilizes key phrases to ground the generation in specific anatomical details. To bridge the different alignment stages, we introduce a memory-based adapter that empowers feature sharing, thereby integrating coarse and fine-grained guidance. For evaluation, we conduct experiments on the public \textsc{MIMIC-CXR} and \textsc{IU X-Ray} benchmarks, where \textsc{S2D-Align} achieves state-of-the-art performance compared to existing methods. Ablation studies validate the effectiveness of our multi-stage, auxiliary-guided approach, highlighting a promising direction for enhancing grounding capabilities in complex, multi-modal generation tasks.