Astra: a generalizable report generation foundation model for 3D computed tomography

📄 arXiv: 2605.31437v1 📥 PDF

作者: Zhuhao Wang, Fang Chen, Chaohui Yu, Zihan Li, Yuchao Zheng, Jing Wang, Xuan Yang, Jia Guo, Zhenlu Yang, Xingju Zheng, Yihua Sun, Haojie Han, Xiaoxiao Qin, Zhan Feng, Wenbo Xiao, Chao Zhu, Yuehua Li, Shipeng Zhang, Hao Luo, Yunsong Peng, Fan Wang, Hongen Liao

分类: cs.CV

发布日期: 2026-05-29

💡 一句话要点

Astra：一种通用的3D CT报告生成基础模型，提升诊断效率和准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: CT报告生成 医学影像 自然语言处理 深度学习 强化学习

📋 核心要点

  1. 现有CT报告生成模型泛化性不足，难以应对不同机构和区域的报告风格差异，导致诊断准确性受限。
  2. Astra通过在大型多机构数据集上训练，并采用报告风格协调和强化学习方法，提升诊断一致性和泛化能力。
  3. 实验表明，Astra在多个数据集上显著提升了报告生成质量，并在临床工作流程中提高了报告效率和完整性。

📝 摘要（中文）

CT影像解读需要放射科医生审查大量的体积切片，导致报告撰写耗时且依赖专业知识。自动CT报告生成为提高临床效率提供了一条有希望的途径，但该领域仍然缺乏一种通用的CT报告生成基础模型，该模型能够支持多区域报告，并在外部真实世界队列中保持稳健性。不同队列间报告风格和诊断术语的内在不一致性使得简单的联合训练容易受到噪声文本监督的影响，从而限制了模型的泛化能力。本文提出了Astra，一个通用的CT报告生成基础模型，该模型在包含353,671个异常的90,678个胸腹CT-报告对（CTRgDB）上进行训练，涵盖八个器官系统。通过协调报告风格并通过强化学习进一步改进诊断一致性，Astra实现了跨不同解剖区域和机构的风格一致且诊断准确的报告生成。在CTRgDB和六个外部队列上的评估表明，Astra实现了最先进的性能，在细粒度诊断指标方面平均提高了44.1%（P<0.001）。在实际临床工作流程中，Astra的辅助将胸部报告起草速度提高了29.6%，并将腹部报告的完整性提高了11.3%（P<0.001）。此外，Astra还展示了作为CT AI开发基础的广泛效用，通过高质量的报告合成来提高下游诊断性能并扩展视觉-语言预训练。总而言之，Astra可以作为一种广泛可访问的临床助手，也是下一代人工智能驱动医疗保健的关键基础设施。

🔬 方法详解

问题定义：现有CT报告生成模型在跨机构、跨区域应用时，由于报告风格和诊断术语的不一致性，导致模型泛化能力差，诊断准确率低。简单的联合训练容易受到噪声文本监督的影响，限制了模型性能的提升。

核心思路：Astra的核心思路是通过大规模数据集训练，并结合报告风格协调和强化学习，来提高模型在不同机构和区域的泛化能力和诊断一致性。通过风格协调，减少不同机构报告风格的差异；通过强化学习，提升诊断术语的准确性。

技术框架：Astra的整体框架包括以下几个主要阶段：1) 数据收集和预处理：构建包含大量胸腹CT图像和对应报告的数据集（CTRgDB）。2) 报告风格协调：采用技术手段减少不同机构报告风格的差异。3) 模型训练：使用协调后的数据训练CT报告生成模型。4) 强化学习优化：使用强化学习方法进一步提升诊断术语的准确性。5) 模型评估：在内部数据集和外部数据集上评估模型性能。

关键创新：Astra的关键创新在于：1) 构建了大规模多机构CT报告数据集（CTRgDB）。2) 提出了报告风格协调方法，减少了不同机构报告风格的差异。3) 采用了强化学习方法，进一步提升了诊断术语的准确性。

关键设计：报告风格协调的具体方法未知，强化学习的具体奖励函数设计未知。模型结构细节未知，但推测使用了Transformer或类似架构。数据集规模为90,678个CT-报告对，包含353,671个异常，涵盖八个器官系统。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Astra在CTRgDB和六个外部队列上取得了最先进的性能，细粒度诊断指标平均提高了44.1%（P<0.001）。在实际临床工作流程中，Astra将胸部报告起草速度提高了29.6%，并将腹部报告的完整性提高了11.3%（P<0.001）。

🎯 应用场景

Astra可应用于临床辅助诊断，帮助放射科医生快速生成高质量的CT报告，提高诊断效率和准确性。同时，Astra也可作为CT AI开发的基础模型，用于下游诊断任务，并促进视觉-语言预训练的发展，推动AI在医疗领域的应用。

📄 摘要（原文）

CT interpretation requires radiologists to review hundreds of volumetric slices per examination, making reporting time-consuming and highly expertise-dependent. Automated CT report generation offers a promising route to improving clinical efficiency, yet the field still lacks a generalizable CT report generation foundation model that supports multi-region reporting and remains robust across external real-world cohorts. Intrinsic inconsistencies in reporting style and diagnostic terminology across cohorts make naive joint training prone to noisy textual supervision, thereby limiting model generalizability. Here we present Astra, a generalizable CT report generation foundation model trained on 90,678 thoracoabdominal CT-report pairs (CTRgDB) with 353,671 abnormalities spanning eight organ systems. By harmonizing report style and further refining diagnostic consistency via reinforcement learning, Astra achieves style-consistent and diagnostically accurate report generation across diverse anatomical regions and institutions. Evaluating on CTRgDB and six external cohorts, Astra achieves state-of-the-art performance with a 44.1% average improvement in fine-grained diagnostic metrics (P<0.001). In real-world clinical workflows, Astra assistance accelerates chest report drafting by 29.6% and improves abdominal report completeness by 11.3% (P<0.001). Furthermore, Astra also demonstrates broad utility as a foundation for CT AI development, improving downstream diagnostic performance and scaling vision-language pretrain through high-quality report synthesis. Overall, Astra serves as a broadly accessible clinical assistant and a pivotal infrastructure for the next generation of AI-powered healthcare.