Multimodal Oncology Agent for IDH1 Mutation Prediction in Low-Grade Glioma

📄 arXiv: 2512.05824v1 📥 PDF

作者: Hafsa Akebli, Adam Shephard, Vincenzo Della Mea, Nasir Rajpoot

分类: cs.AI, cs.CV

发布日期: 2025-12-05

备注: 4 pages, 2 figures

💡 一句话要点

提出多模态肿瘤Agent，融合病理图像与知识推理，用于低级别胶质瘤IDH1突变预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 肿瘤突变预测 低级别胶质瘤 IDH1突变 知识推理 病理图像分析 深度学习

📋 核心要点

  1. 低级别胶质瘤的IDH1突变预测对临床分型、预后判断和治疗方案选择至关重要，现有方法依赖临床数据或病理图像，信息利用不充分。
  2. MOA通过融合病理图像分析和外部知识推理，整合了临床、基因组和组织学等多模态信息，从而更全面地评估IDH1突变状态。
  3. 实验结果表明，MOA在IDH1突变预测任务中显著优于临床和组织学基线，尤其是在融合组织学特征后，F1-score提升至0.912。

📝 摘要（中文）

本研究提出了一种多模态肿瘤Agent（MOA），用于预测低级别胶质瘤中的IDH1突变。该Agent集成了基于TITAN基础模型的组织学工具，用于分析病理图像，并结合PubMed、Google Search和OncoKB等外部知识来源，对结构化的临床和基因组输入进行推理。在TCGA-LGG队列的488名患者上进行的定量评估表明，不包含组织学工具的MOA优于临床基线，F1-score达到0.826，而临床基线为0.798。融合组织学特征后，MOA的性能达到最高，F1-score为0.912，超过了组织学基线（0.894）和融合组织学-临床基线（0.897）。结果表明，该Agent能够捕获互补的、与突变相关的信息，并通过外部生物医学来源进行丰富，从而实现准确的IDH1突变预测。

🔬 方法详解

问题定义：论文旨在解决低级别胶质瘤（LGG）中IDH1突变预测的问题。现有方法，如仅依赖临床数据或组织学特征的方法，无法充分利用多模态信息，导致预测精度受限。此外，如何有效整合外部生物医学知识也是一个挑战。

核心思路：论文的核心思路是构建一个多模态肿瘤Agent（MOA），该Agent能够同时处理病理图像和结构化数据，并通过外部知识库进行推理，从而更准确地预测IDH1突变状态。这种设计旨在弥补现有方法在信息整合方面的不足，并利用外部知识来丰富模型对突变机制的理解。

技术框架：MOA的整体架构包含以下几个主要模块：1) 基于TITAN基础模型的组织学工具，用于从病理图像中提取特征；2) 知识推理模块，利用PubMed、Google Search和OncoKB等外部知识来源，对临床和基因组数据进行推理；3) 特征融合模块，将组织学特征和知识推理结果进行融合；4) 预测模块，基于融合后的特征预测IDH1突变状态。整个流程首先对输入数据进行预处理，然后分别通过组织学工具和知识推理模块提取特征，最后将这些特征融合并输入到预测模型中。

关键创新：该论文最重要的技术创新点在于多模态信息的融合和外部知识的利用。与现有方法相比，MOA不仅考虑了临床和组织学数据，还通过外部知识库对这些数据进行补充和增强，从而更全面地理解IDH1突变的生物学机制。此外，利用TITAN基础模型进行病理图像分析也是一个创新点，能够更有效地提取图像中的相关特征。

关键设计：论文中关于参数设置、损失函数和网络结构的具体技术细节描述不足（未知）。但可以推测，特征融合模块可能采用了某种加权融合策略，以平衡不同模态信息的重要性。预测模块可能采用了常见的分类模型，如逻辑回归或支持向量机，并使用交叉熵损失函数进行训练。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，MOA在TCGA-LGG队列的488名患者上取得了显著的性能提升。不包含组织学工具的MOA的F1-score为0.826，优于临床基线（0.798）。融合组织学特征后，MOA的F1-score达到0.912，超过了组织学基线（0.894）和融合组织学-临床基线（0.897），证明了多模态信息融合的有效性。

🎯 应用场景

该研究成果可应用于临床辅助诊断，帮助医生更准确地预测低级别胶质瘤患者的IDH1突变状态，从而制定更精准的治疗方案。此外，该方法也可推广到其他肿瘤类型的突变预测，具有广阔的应用前景。未来，该研究有望促进肿瘤精准医疗的发展。

📄 摘要（原文）

Low-grade gliomas frequently present IDH1 mutations that define clinically distinct subgroups with specific prognostic and therapeutic implications. This work introduces a Multimodal Oncology Agent (MOA) integrating a histology tool based on the TITAN foundation model for IDH1 mutation prediction in low-grade glioma, combined with reasoning over structured clinical and genomic inputs through PubMed, Google Search, and OncoKB. MOA reports were quantitatively evaluated on 488 patients from the TCGA-LGG cohort against clinical and histology baselines. MOA without the histology tool outperformed the clinical baseline, achieving an F1-score of 0.826 compared to 0.798. When fused with histology features, MOA reached the highest performance with an F1-score of 0.912, exceeding both the histology baseline at 0.894 and the fused histology-clinical baseline at 0.897. These results demonstrate that the proposed agent captures complementary mutation-relevant information enriched through external biomedical sources, enabling accurate IDH1 mutation prediction.