MedPAO-VL: Interpretable and Protocol-Compliant Agent for Structured Radiology Report Generation

📄 arXiv: 2610.21794v1 📥 PDF

作者: Shrish Shrinath Vaidya, Gowthamaan Palani, Minmini Selvam, Gokulraja Srinivasaraja, Ganapathy Krishnamurthi

分类: cs.CV

发布日期: 2026-10-15

备注: The paper has been accepted at ECCV BISCUIT Workshop, 2026

💡 一句话要点

提出MedPAO-VL以解决结构化放射学报告生成中的可靠性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 放射学报告 多模态学习 可解释性 迭代生成 临床应用

📋 核心要点

  1. 现有的端到端方法在生成结构化放射学报告时存在可靠性不足和事实幻觉的问题，限制了其临床应用。
  2. MedPAO-VL通过可解释的视觉模块和迭代的计划-行动-观察循环，提供了一种目标导向的结构化报告生成方法。
  3. 实验结果显示，MedPAO-VL在临床正确性和完整性上显著提升，专家评分达到3.5/5和4.3/5。

📝 摘要（中文）

尽管大型语言模型具有显著的泛化能力，但从医学图像生成临床准确且结构化的放射学报告仍然是一个重大挑战。目前的端到端方法往往作为黑箱运作，容易产生事实幻觉并生成无基础的发现。这种缺乏可靠性和未能遵循领域特定结构化协议的现象，根本限制了其临床实用性。我们提出了MedPAO-VL，这是一种多模态代理，转变了从单一生成到可解释、迭代的协议合规结构化报告生成的范式。与确定性模型不同，我们的计划-行动-观察循环作为一个目标导向的代理：它首先通过一个可解释的视觉模块感知胸部X光片，捕捉固有的诊断不确定性，然后通过观察语义差异迭代地完善生成的报告，自我修正生成以更好地与视觉检测到的临床发现对齐。我们的框架评估表明，这种代理推理提高了临床正确性和完整性，获得了专家评分3.5/5和结构评分4.3/5。通过优先考虑病理特定的可解释性和迭代完善，MedPAO-VL为自动化结构化放射学报告生成提供了一种透明且临床可行的替代方案。

🔬 方法详解

问题定义：本论文旨在解决从医学图像生成结构化放射学报告时的可靠性不足和事实幻觉问题。现有方法往往作为黑箱，缺乏透明性和临床实用性。

核心思路：MedPAO-VL的核心思路是通过可解释的视觉模块捕捉诊断不确定性，并采用迭代的计划-行动-观察循环来生成和修正报告，从而提高生成报告的准确性和可靠性。

技术框架：该方法的整体架构包括三个主要模块：可解释的视觉模块、生成模块和自我修正模块。首先，视觉模块分析胸部X光片，提取相关特征；然后生成模块基于这些特征生成初步报告；最后，自我修正模块通过观察语义差异进行迭代完善。

关键创新：MedPAO-VL的关键创新在于其可解释性和迭代性，区别于传统的黑箱模型，提供了透明的生成过程和更高的临床适用性。

关键设计：在设计中，采用了特定的损失函数以优化生成报告的结构和内容，同时在网络结构上引入了多模态融合，以增强模型对不同输入信息的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MedPAO-VL在临床正确性和完整性方面显著提高，专家评分分别达到3.5/5和4.3/5，显示出相较于传统方法的明显优势，提升幅度值得关注。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析、自动化报告生成和临床决策支持。通过提高报告生成的可靠性和透明性，MedPAO-VL能够在放射学和其他医学领域中提供更高效的解决方案，未来可能推动智能医疗的发展。

📄 摘要（原文）

Despite the remarkable generalization capabilities of Large Language Models, generating clinically accurate and structured radiology reports from medical images remains a significant challenge. Current end-to-end approaches function as black boxes, prone to factual hallucinations and generating ungrounded findings. This lack of reliability and failure to adhere to domain-specific structuring protocols, fundamentally limits their clinical utility. We present MedPAO-VL, a multimodal agent that shifts the paradigm from monolithic generation to explainable, iterative, protocol-compliant structured report generation. Unlike deterministic models, our plan-act-observe loop functions as a goal-oriented agent: it first perceives the Chest X-Ray through an explainable vision module designed to capture inherent diagnostic uncertainty, then iteratively refines the generated report by observing semantic discrepancies and self-correcting its generation for better alignment with visually detected clinical findings. Evaluation of our framework demonstrates that this agentic reasoning improves clinical correctness and completeness, achieving an expert-rated accuracy score of 3.5/5 and a structural score of 4.3/5. By prioritizing pathology specific explainability and iterative refinement over opaque end-to-end mapping, MedPAO-VL offers a transparent and clinically viable alternative for automated structured radiology report generation.