BrainTRACE: Tracing Longitudinal, Multimodal, and Volumetric Evidence in Brain MRI Clinical Reasoning

📄 arXiv: 2610.06571v1 📥 PDF

作者: Qizhen Lan, Mengchen Fan, Hang Zhang, Jingwei Duan, Moule Lin, Jialin Chen, Baocheng Geng, Xiaoqian Jiang

分类: cs.CV, cs.AI

发布日期: 2026-10-05

备注: 35 pages. Accepted to NeurIPS 2026

💡 一句话要点

提出BrainTRACE以解决脑MRI临床推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑MRI 临床推理 多模态融合 视觉-语言模型 证据链追踪 医学影像分析 基准评估

📋 核心要点

  1. 现有方法往往通过孤立图像或静态体积评估脑MRI，无法有效捕捉临床推理中的证据链。
  2. BrainTRACE基准通过提供纵向比较、报告基础参考和多序列整合等要求，支持视觉-语言模型的评估。
  3. 实验结果显示，当前系统能够识别孤立的视觉线索，但很少将其组合成有基础的纵向解读。

📝 摘要（中文）

脑MRI的解读是一个纵向的临床推理问题：放射科医师需要比较系列研究，整合不同MRI序列的信息，定位体积解剖中的发现，并将这些证据转化为报告基础的评估。现有的医学视觉问答和3D成像基准虽然捕捉了这一工作流程的重要部分，但往往通过孤立图像、静态体积或无基础的报告风格答案来评估脑MRI，从而掩盖了支持临床有效性的证据链中的失败。我们提出了BrainTRACE，这是一个基于报告的基准，用于评估视觉-语言模型能否追踪进行脑MRI纵向解读所需的证据结构。BrainTRACE包含7273个评分的视觉问答实例，来源于1778名纵向患者、7299个MRI研究和大约29000个共同配准的3D MRI序列体积。

🔬 方法详解

问题定义：论文旨在解决脑MRI解读中的证据链追踪问题。现有方法未能有效整合多模态信息，导致临床推理的有效性受到影响。

核心思路：通过构建BrainTRACE基准，提供一个多层次的评估框架，使视觉-语言模型能够在纵向脑MRI解读中追踪和整合证据。

技术框架：BrainTRACE基准分为五个临床推理层次，从获取识别到案例级综合，涵盖纵向比较、报告基础参考和多序列整合等证据需求。

关键创新：最重要的创新在于提供了一个结构化的评估基准，能够审计纵向证据链的六个步骤，与现有方法相比，强调了证据的整合与追踪。

关键设计：基准支持与标准视觉-语言模型接口兼容的渲染输入，包含3D证据条件和分解的案例推理轨迹，确保评估的可重复性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，20种视觉-语言模型配置在识别孤立视觉线索方面表现良好，但在将这些线索组合成有基础的纵向解读时表现不佳。这一发现强调了当前模型在临床推理任务中的局限性，推动了对更强大模型的需求。

🎯 应用场景

该研究在医学影像分析领域具有广泛的应用潜力，特别是在脑部疾病的诊断和监测中。通过提升视觉-语言模型在脑MRI解读中的性能，能够为临床医生提供更可靠的辅助决策支持，进而改善患者的治疗效果和预后。未来，该基准还可扩展至其他医学影像领域，推动多模态学习的发展。

📄 摘要（原文）

Brain MRI interpretation is a longitudinal clinical reasoning problem: radiologists compare serial studies, integrate information across MRI sequences, localize findings within volumetric anatomy, and translate this evidence into report-grounded assessments. Existing medical VQA and 3D imaging benchmarks capture important parts of this workflow, but often evaluate brain MRI through isolated images, static volumes, or ungrounded report-style answers, thereby obscuring failures in the evidence chain that support clinical validity. We introduce BrainTRACE, a report-grounded benchmark for evaluating whether vision-language models can trace the evidence structure required for longitudinal brain MRI interpretation. BrainTRACE contains 7,273 scored VQA instances derived from 1,778 longitudinal patients, 7,299 MRI studies, and approximately 29k co-registered 3D MRI sequence volumes. The benchmark is organized by five levels of clinical reasoning, from acquisition recognition to case-level synthesis, and by evidence demands covering longitudinal comparison, report-grounded references, multi-sequence integration, and volumetric spatial evidence. BrainTRACE supports rendered inputs compatible with standard VLM interfaces, a 3D-evidence condition, and a decomposed case-reasoning track that audits six steps in a longitudinal evidence chain. Evaluation of 20 VLM configurations shows that current systems can identify isolated visual cues but rarely compose them into grounded longitudinal interpretations. We release the benchmark specification, evaluation lists, scoring implementation, scoring rubrics, and audit-record format to support reproducible progress in brain MRI VLM evaluation.