ONCOPILOT: A Promptable CT Foundation Model For Solid Tumor Evaluation

📄 arXiv: 2410.07908v4 📥 PDF

作者: Léo Machado, Hélène Philippe, Élodie Ferreres, Julien Khlaut, Julie Dupuis, Korentin Le Floch, Denis Habip Gatenyo, Pascal Roux, Jules Grégory, Maxime Ronot, Corentin Dancette, Tom Boeken, Daniel Tordjman, Pierre Manceron, Paul Hérent

分类: eess.IV, cs.AI, cs.CV

发布日期: 2024-10-10 (更新: 2024-11-19)

期刊: npj Precis. Onc. 9, 121 (2025)

DOI: 10.1038/s41698-025-00903-y

💡 一句话要点

ONCOPILOT：用于实体肿瘤评估的可Prompt CT影像基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肿瘤分割 CT影像 基础模型 交互式分割 RECIST 1.1 放射学 深度学习

📋 核心要点

  1. 现有肿瘤评估方法，如RECIST 1.1，无法充分捕捉肿瘤的复杂性和多样性，且依赖人工标注的监督学习模型泛化性不足。
  2. ONCOPILOT通过在大量CT扫描数据上训练基础模型，并结合视觉提示进行交互式肿瘤分割，提升了分割精度和效率。
  3. ONCOPILOT在RECIST 1.1测量中达到放射科医生级别的准确性，并能加速测量过程，降低读者间差异，实现更精确的体积分析。

📝 摘要（中文）

肿瘤发生是一个多形性现象，肿瘤出现在不同位置并呈现复杂多样的形状。在研究和临床实践的关键交汇点，需要精确和灵活的评估。然而，当前的生物标志物，如RECIST 1.1的长轴和短轴测量，未能充分捕捉这种复杂性，仅提供了肿瘤负荷的近似估计和对更复杂过程的简单表示。此外，现有的监督AI模型在解决肿瘤表现的多样性方面面临挑战，限制了它们的临床应用。这些限制源于注释的稀缺以及模型对狭义定义任务的关注。为了解决这些挑战，我们开发了ONCOPILOT，一个交互式放射学基础模型，在约7500个CT扫描上进行训练，涵盖全身，包括正常解剖结构和各种肿瘤病例。ONCOPILOT使用点选和边界框等视觉提示执行3D肿瘤分割，优于最先进的模型（如nnUnet），并在RECIST 1.1测量中达到放射科医生级别的准确性。这个基础模型的关键优势在于它能够在保持放射科医生参与的情况下超越最先进的性能，这是以前的模型无法实现的。当放射科医生交互式地改进分割时，准确性会进一步提高。ONCOPILOT还加速了测量过程并降低了读者间变异性，从而促进了体积分析并解锁了更深入见解的新生物标志物。预计这款AI助手将提高RECIST 1.1测量的精度，释放体积生物标志物的潜力，并改善患者分层和临床护理，同时无缝集成到放射科工作流程中。

🔬 方法详解

问题定义：现有肿瘤评估方法，特别是RECIST 1.1，依赖于长轴和短轴的测量，无法充分描述肿瘤的复杂形状和体积。此外，传统的监督学习模型需要大量的标注数据，且泛化能力有限，难以应对肿瘤表现的多样性。因此，需要一种更精确、灵活且能适应不同肿瘤类型的评估方法。

核心思路：ONCOPILOT的核心思路是利用大规模CT扫描数据训练一个放射学基础模型，使其能够学习到肿瘤的通用特征表示。通过结合视觉提示（如点选和边界框），实现交互式的肿瘤分割，允许放射科医生参与到分割过程中，进一步提高分割精度。这种方法旨在克服传统方法的局限性，提供更准确、更高效的肿瘤评估。

技术框架：ONCOPILOT的整体框架包括以下几个主要阶段：1) 大规模CT扫描数据收集和预处理；2) 基于Transformer的3D分割模型训练，使用自监督或半监督学习方法；3) 交互式分割模块，允许放射科医生通过视觉提示（点选、边界框）引导分割；4) RECIST 1.1测量和体积分析模块，用于自动计算肿瘤的大小和体积。

关键创新：ONCOPILOT最重要的技术创新点在于其交互式分割方法和放射学基础模型的结合。与传统的全自动分割方法相比，交互式分割允许放射科医生参与到分割过程中，利用其专业知识提高分割精度。同时，放射学基础模型能够学习到肿瘤的通用特征表示，从而提高模型的泛化能力，使其能够适应不同类型的肿瘤。

关键设计：ONCOPILOT的关键设计包括：1) 使用Transformer架构进行3D分割，以捕捉肿瘤的全局上下文信息；2) 设计有效的视觉提示机制，允许放射科医生以直观的方式引导分割；3) 使用合适的损失函数，如Dice loss或Cross-Entropy loss，优化分割性能；4) 采用数据增强技术，提高模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ONCOPILOT在RECIST 1.1测量中达到了放射科医生级别的准确性，优于现有的最先进模型（如nnUnet）。通过放射科医生的交互式修正，分割精度可以进一步提高。此外，ONCOPILOT还能够显著加速测量过程，并降低读者间差异，从而提高肿瘤评估的效率和一致性。

🎯 应用场景

ONCOPILOT可应用于肿瘤的诊断、治疗计划制定和疗效评估等多个领域。通过提供更精确的肿瘤分割和测量结果，可以帮助医生更准确地评估肿瘤的进展情况，制定更有效的治疗方案，并监测治疗效果。此外，ONCOPILOT还可以用于药物研发，加速新药的临床试验过程。

📄 摘要（原文）

Carcinogenesis is a proteiform phenomenon, with tumors emerging in various locations and displaying complex, diverse shapes. At the crucial intersection of research and clinical practice, it demands precise and flexible assessment. However, current biomarkers, such as RECIST 1.1's long and short axis measurements, fall short of capturing this complexity, offering an approximate estimate of tumor burden and a simplistic representation of a more intricate process. Additionally, existing supervised AI models face challenges in addressing the variability in tumor presentations, limiting their clinical utility. These limitations arise from the scarcity of annotations and the models' focus on narrowly defined tasks. To address these challenges, we developed ONCOPILOT, an interactive radiological foundation model trained on approximately 7,500 CT scans covering the whole body, from both normal anatomy and a wide range of oncological cases. ONCOPILOT performs 3D tumor segmentation using visual prompts like point-click and bounding boxes, outperforming state-of-the-art models (e.g., nnUnet) and achieving radiologist-level accuracy in RECIST 1.1 measurements. The key advantage of this foundation model is its ability to surpass state-of-the-art performance while keeping the radiologist in the loop, a capability that previous models could not achieve. When radiologists interactively refine the segmentations, accuracy improves further. ONCOPILOT also accelerates measurement processes and reduces inter-reader variability, facilitating volumetric analysis and unlocking new biomarkers for deeper insights. This AI assistant is expected to enhance the precision of RECIST 1.1 measurements, unlock the potential of volumetric biomarkers, and improve patient stratification and clinical care, while seamlessly integrating into the radiological workflow.