Concept-Grounded Reasoning with Prompt-Driven Localization for Interpretable Structured Report Generation

📄 arXiv: 2609.15334v1 📥 PDF

作者: Xinyue Xu, Hongbin Lin, Juangui Xu, Hualiang Wang, Lehan Wang, Lijie Hu, Weiyang Liu, Adrian Weller, Xiaomeng Li

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-09-14

💡 一句话要点

提出CORAL以解决医疗报告生成中的可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医疗报告生成 多模态学习 概念驱动推理 空间定位 临床决策支持

📋 核心要点

  1. 现有的多模态大型语言模型在医疗报告生成中缺乏对临床中间属性的建模，导致可解释性不足。
  2. 本文提出CORAL框架，通过空间定位和概念级监督，整合推理过程以提高报告生成的质量和准确性。
  3. 在BUS-CoT和IU X-ray数据集上的实验显示，CORAL在诊断准确性和报告质量上均有显著提升。

📝 摘要（中文）

医疗成像技术如超声和X光在临床实践中被广泛应用，诊断过程遵循结构化的证据驱动工作流程。然而，现有的多模态大型语言模型（MLLMs）在自动生成医疗报告时，往往依赖于端到端的多模态融合，未能有效建模临床定义的中间属性，导致生成结果的基础和可解释性有限。为了解决这一问题，本文提出了CORAL（COncept-grounded ReAsoning with Localization），一个将空间定位和概念级监督整合到统一推理过程中的多模态框架。CORAL利用基于提示的医学分割模型进行病灶定位，并通过概念瓶颈模块预测多类临床属性。生成的文本概念标记与掩模调制的视觉特征结合，支持结构化报告生成和诊断预测。实验结果表明，CORAL在诊断准确性、概念一致性和报告质量上均优于强大的通用和医学MLLMs，表明概念驱动的推理更好地与临床决策过程对齐。

🔬 方法详解

问题定义：本文旨在解决现有医疗报告生成系统在可解释性和基础性方面的不足，尤其是缺乏对临床中间属性的有效建模。

核心思路：CORAL框架通过引入空间定位和概念级监督，结合提示驱动的医学分割模型，提升报告生成的准确性和可解释性。

技术框架：CORAL的整体架构包括三个主要模块：首先，利用医学分割模型进行病灶的空间定位；其次，通过概念瓶颈模块预测多类临床属性；最后，将生成的文本概念标记与视觉特征结合，进行结构化报告生成。

关键创新：CORAL的核心创新在于将概念驱动的推理与空间定位相结合，显著提高了生成结果的临床相关性和可解释性，这与传统的端到端方法形成鲜明对比。

关键设计：在设计中，采用了基于提示的分割模型，结合掩模调制的视觉特征，确保生成的文本与临床决策过程紧密对齐。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CORAL在BUS-CoT和IU X-ray数据集上实现了显著的性能提升，诊断准确性提高了X%，概念一致性和报告质量也有明显改善，优于多种强大的通用和医学MLLMs。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动化诊断系统和临床决策支持工具。通过提高报告生成的可解释性和准确性，CORAL有助于医生在临床实践中做出更为精准的决策，未来可能在医疗行业产生深远影响。

📄 摘要（原文）

Medical imaging modalities such as ultrasound and X-ray are widely used in clinical practice, where diagnosis follows a structured, evidence-driven workflow aligned with standardized criteria. While multimodal large language models (MLLMs) show promise for automated medical report generation, most existing systems rely on end-to-end multimodal fusion without modeling clinically defined intermediate attributes, leading to limited grounding and interpretability. To address this issue, we propose CORAL (COncept-grounded ReAsoning with Localization), a multimodal framework that integrates spatial grounding and concept-level supervision into a unified reasoning process. CORAL employs a prompt-driven medical segmentation model to localize lesions and predicts multi-class clinical attributes through a Concept Bottleneck module. The resulting textual concept tokens are combined with mask-modulated visual features within an MLLM to enable structured report generation and diagnostic prediction. Experiments on BUS-CoT and IU X-ray datasets demonstrate consistent improvements in diagnostic accuracy, concept consistency, and report quality over strong general-purpose and medical MLLMs, indicating that concept-grounded reasoning better aligns generation with clinical decision processes.