A Vision-Language Foundation Model for Precise and Comprehensive Brain Tumor Diagnosis from Preoperative Multimodal Data

📄 arXiv: 2609.16597v1 📥 PDF

作者: Yinong Wang, Jianwen Chen, Zhou Chen, Shuwen Kuang, Haoning Jiang, Yanzhao Shi, Huichun Yuan, Yan-ran, Wang, Bing Wang, Lei Wu, Bin Tang, Li Meng, Baihua Luo, Bin Zhou, Wei Ding, Weiming Zhong, Wei Hou, Yuanbing Chen, Zhiping Wan, Wei Wang, Zhenkun Xiao, Wenwu Wan, Allen He, Yuyin Zhou, Longbo Zhang, Feifei Wang, Zhixiong Liu, Michael Iv, Xuan Gong, Liangqiong Qu

分类: cs.CV, cs.AI, cs.DB

发布日期: 2026-09-15

备注: 94 pages, 22 Figures

💡 一句话要点

提出BrainVLM以解决脑肿瘤诊断中的不确定性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤诊断 人工智能 多模态数据 不确定性量化 放射学报告生成 WHO分类 MRI分析 临床应用

📋 核心要点

  1. 现有方法在脑肿瘤诊断中面临影像特征重叠和观察者变异性等挑战，导致诊断不确定性高。
  2. 论文提出BrainVLM模型，集成不确定性量化和放射学报告生成，旨在提高脑肿瘤分类的准确性和可靠性。
  3. 实验结果显示，BrainVLM在多中心验证中表现优异，能够有效辅助放射科医生进行术前评估。

📝 摘要（中文）

背景：非侵入性术前脑肿瘤类型诊断至关重要，但由于肿瘤类型间影像特征重叠、观察者间变异性及专业知识培训需求，面临挑战。我们旨在开发基于MRI的人工智能模型，实现自动可靠的脑肿瘤分类，并量化诊断不确定性及生成放射学报告。方法：我们开发了BrainVLM，能够分类12种WHO 2021脑肿瘤类型，集成不确定性量化策略和放射学报告生成模块。BrainVLM在40,043名个体的多模态数据上训练，并在5,211名病理确诊患者中验证。我们还进行了两项概念验证研究，验证其在AI-临床工作流中的临床实用性。

🔬 方法详解

问题定义：论文要解决脑肿瘤类型的非侵入性术前诊断问题。现有方法面临影像特征重叠、观察者间变异性及专业知识培训需求等痛点。

核心思路：论文的核心解决思路是开发BrainVLM模型，通过集成不确定性量化和放射学报告生成模块，提升脑肿瘤分类的准确性和可靠性。

技术框架：BrainVLM整体架构包括数据预处理、特征提取、模型训练和评估等主要模块。模型利用MRI扫描、人口统计信息和放射学报告的多模态数据进行训练。

关键创新：最重要的技术创新点在于引入不确定性量化策略，能够指示预测的可靠性，并生成临床合理性的放射学报告，这在现有方法中尚属首次。

关键设计：模型采用特定的损失函数和网络结构，优化了多模态数据的融合效果，确保了分类结果的准确性和可解释性。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，BrainVLM在多中心验证中对脑肿瘤的分类准确率达到了XX%，相较于传统方法提升了YY%。在盲读研究中，12名神经放射科医生在AI辅助下的诊断准确性显著提高，验证了其临床实用性。

🎯 应用场景

该研究的潜在应用领域包括医院的放射科和神经外科，能够为医生提供更为可靠的脑肿瘤诊断支持，提升临床决策的效率和准确性。未来，BrainVLM有望推广至其他类型的医学影像分析中，推动AI在医疗领域的应用。

📄 摘要（原文）

Background Non-invasive presurgical diagnosis of brain tumor types from Magnetic Resonance Imaging (MRI) is essential but challenging due to overlapping imaging features across tumor types, inter-observer variability, and the extensive training required for expertise. We aimed to develop an MRI-based Artificial Intelligence (AI) model for automatic and reliable brain tumor classification with diagnostic uncertainty quantification and radiology reports generation. Methods We developed BrainVLM to classify all 12 World Health Organization (WHO) 2021 brain tumor types. BrainVLM integrates an uncertainty quantification strategy to indicate prediction reliability and a module for generating radiology reports to elucidate the clinical rationale. BrainVLM was trained on multi-modal data (MRI scans, demographics, and radiology reports) from 40,043 individuals. It was validated on 5,211 patients with pathologically confirmed brain tumors, including 3,877 held-out patients from the primary hospital and 1,334 patients from 11 independent hospitals. We further conducted two proof-of-concept studies to validate its clinical utility in AI-clinician workflows: 1) a blinded multi-reader study where 12 neuroradiologists across varying experience levels interpreted 248 retrospective cases with or without AI assistance, and 2) a real-world prospective study in which 1,009 patients were independently and blindly assessed by BrainVLM and radiologists before surgery. Additionally, we demonstrated BrainVLM's utility in preoperative molecular subgroup prediction for adult-type diffuse gliomas, using a multi-center cohort of 632 patients.