Performance of GPT-5 in Brain Tumor MRI Reasoning

📄 arXiv: 2508.10865v1 📥 PDF

作者: Mojtaba Safari, Shansong Wang, Mingzhe Hu, Zach Eidex, Qiang Li, Xiaofeng Yang

分类: cs.CV, cs.AI

发布日期: 2025-08-14

💡 一句话要点

评估GPT-5系列模型在脑肿瘤MRI图像问答任务中的性能，结果表明其具备一定潜力但离临床应用尚远。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑肿瘤MRI 视觉问答 大型语言模型 GPT-5 医学影像分析

📋 核心要点

  1. 脑肿瘤MRI图像的准确分类对神经肿瘤学的治疗计划至关重要，现有方法在整合图像信息和自然语言推理方面存在挑战。
  2. 本研究利用GPT系列大语言模型，构建视觉问答系统，旨在提升脑肿瘤MRI图像的自动判读和推理能力。
  3. 实验结果表明，GPT-5系列模型在脑肿瘤VQA任务中表现出一定的潜力，但准确率仍有待提高，距离临床应用存在差距。

📝 摘要（中文）

本研究评估了GPT-4o、GPT-5-nano、GPT-5-mini和GPT-5在脑肿瘤视觉问答（VQA）基准上的性能，该基准来源于3个脑肿瘤分割（BraTS）数据集——胶质母细胞瘤（GLI）、脑膜瘤（MEN）和脑转移瘤（MET）。每个病例包含多序列MRI三平面镶嵌图和结构化的临床特征，并转换为标准化的VQA项目。模型在零样本链式思考设置下进行评估，以评估其在视觉和推理任务上的准确性。结果表明，GPT-5-mini实现了最高的宏平均准确率（44.19%），其次是GPT-5（43.71%）、GPT-4o（41.49%）和GPT-5-nano（35.85%）。不同肿瘤亚型的性能各不相同，没有单一模型在所有队列中占据主导地位。这些发现表明，GPT-5系列模型在结构化的神经肿瘤VQA任务中可以达到中等准确率，但尚未达到临床可接受的水平。

🔬 方法详解

问题定义：论文旨在解决脑肿瘤MRI图像的自动判读和分类问题。现有方法在整合图像信息和自然语言推理方面存在不足，难以准确区分不同类型的脑肿瘤，从而影响治疗方案的制定。此外，现有方法在处理多模态数据（MRI图像和临床特征）时也存在挑战。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大推理能力，构建一个视觉问答（VQA）系统，该系统能够根据输入的MRI图像和临床特征，回答关于脑肿瘤类型的问题。通过将图像解释与自然语言推理相结合，旨在提高脑肿瘤分类的准确性和效率。

技术框架：整体框架包括数据准备、模型选择和评估三个主要阶段。首先，从BraTS数据集中提取MRI图像和临床特征，并将其转换为标准化的VQA项目。然后，选择GPT-4o、GPT-5-nano、GPT-5-mini和GPT-5等LLM作为VQA系统的核心。最后，在零样本链式思考设置下评估模型的性能，并分析不同肿瘤亚型的结果。

关键创新：本研究的关键创新在于将GPT-5系列模型应用于脑肿瘤MRI图像的VQA任务，探索了LLM在医学图像分析领域的潜力。与传统的图像分类方法相比，VQA系统能够更好地整合图像信息和自然语言推理，从而提供更全面的诊断信息。

关键设计：研究中使用了零样本链式思考（zero-shot chain-of-thought）方法，允许模型在没有特定训练数据的情况下进行推理。此外，研究还对不同肿瘤亚型（胶质母细胞瘤、脑膜瘤和脑转移瘤）进行了单独评估，以分析模型的泛化能力。具体参数设置和网络结构信息未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，GPT-5-mini在脑肿瘤VQA任务中取得了最高的宏平均准确率（44.19%），其次是GPT-5（43.71%）、GPT-4o（41.49%）和GPT-5-nano（35.85%）。虽然GPT-5系列模型表现出一定的潜力，但整体准确率仍有待提高，距离临床应用的标准还有差距。不同模型在不同肿瘤亚型上的表现存在差异，表明模型在泛化能力方面仍有提升空间。

🎯 应用场景

该研究成果可应用于辅助医生进行脑肿瘤的诊断和分类，提高诊断效率和准确性。未来，结合更先进的AI技术，有望开发出智能化的医学影像分析系统，为患者提供更精准的个性化治疗方案。该技术还可扩展到其他医学影像领域，例如心血管疾病和肺部疾病的诊断。

📄 摘要（原文）

Accurate differentiation of brain tumor types on magnetic resonance imaging (MRI) is critical for guiding treatment planning in neuro-oncology. Recent advances in large language models (LLMs) have enabled visual question answering (VQA) approaches that integrate image interpretation with natural language reasoning. In this study, we evaluated GPT-4o, GPT-5-nano, GPT-5-mini, and GPT-5 on a curated brain tumor VQA benchmark derived from 3 Brain Tumor Segmentation (BraTS) datasets - glioblastoma (GLI), meningioma (MEN), and brain metastases (MET). Each case included multi-sequence MRI triplanar mosaics and structured clinical features transformed into standardized VQA items. Models were assessed in a zero-shot chain-of-thought setting for accuracy on both visual and reasoning tasks. Results showed that GPT-5-mini achieved the highest macro-average accuracy (44.19%), followed by GPT-5 (43.71%), GPT-4o (41.49%), and GPT-5-nano (35.85%). Performance varied by tumor subtype, with no single model dominating across all cohorts. These findings suggest that GPT-5 family models can achieve moderate accuracy in structured neuro-oncological VQA tasks, but not at a level acceptable for clinical use.