Dataset-Specific Encoding of Image Content Underlies Cross-Dataset Failure in Brain MRI Foundation Models

📄 arXiv: 2610.13027v1 📥 PDF

作者: Minh Sao Khue Luu, Bair N. Tuchinov

分类: cs.CV

发布日期: 2026-10-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出新方法解决脑MRI基础模型跨数据集失效问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑MRI 基础模型 跨数据集 特征编码 迁移学习 医学影像 深度学习

📋 核心要点

  1. 现有脑MRI基础模型在新数据集上的表现不佳，通常被认为是特征编码或数据集偏移的问题。
  2. 论文提出的核心思路是分析内容在不同数据集中的编码方式，揭示了失效的真正原因。
  3. 实验结果显示，只有3DINO和SAM-Med3D能够有效迁移序列，而BrainIAC和BrainFM的表现不如未训练模型。

📝 摘要（中文）

脑MRI基础模型的冻结特征在新数据集上准确性下降，通常归因于特征编码问题。本文指出，失效的原因在于内容本身在不同数据集中以不同方向编码。通过对17个公共数据集和8种冻结表示的分析，发现大多数模型在未见数据集上表现不佳。只有广泛预训练的3DINO和SAM-Med3D能够一致地编码序列，从而实现有效迁移，而脑特定模型BrainIAC和BrainFM的表现不如未训练网络。代码可在https://github.com/BrainFM/brainfm-profiler/tree/main/representation_utility获取。

🔬 方法详解

问题定义：本文旨在解决脑MRI基础模型在新数据集上失效的问题。现有方法通常将失效归因于特征编码或数据集偏移，但未能深入分析内容编码的影响。

核心思路：论文的核心思路是通过对多数据集的分析，揭示MRI内容在不同数据集中以不同方向编码的现象，从而解释模型失效的原因。

技术框架：研究分析了17个公共数据集和8种冻结表示，比较了它们在不同数据集上的表现。主要模块包括数据集选择、特征提取和性能评估。

关键创新：最重要的创新在于识别出内容编码的方向性差异，这一发现与传统的特征编码或数据集偏移理论有本质区别。

关键设计：在实验中，使用了多种方法（如INLP、LEACE、CORAL和对抗训练）来去除数据集信号，但未能改善序列迁移效果。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，只有3DINO和SAM-Med3D在不同数据集间能够有效迁移序列，表现优于BrainIAC和BrainFM，后者的性能甚至不及未训练网络。这一发现强调了内容编码的重要性。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、脑部疾病诊断和个性化医疗。通过提高模型在不同数据集上的迁移能力，可以更好地利用已有数据进行新任务的学习，推动脑MRI技术的发展。

📄 摘要（原文）

Frozen features of brain MRI foundation models lose accuracy on new datasets, a failure usually blamed on the features encoding where each scan came from. We show that the failure lies elsewhere. Across 17 public datasets and eight frozen representations, every representation recognizes the MRI sequence within each dataset, yet most fail on an unseen one. The cause is neither dataset encoding nor a shift of each dataset: the content itself is encoded along different directions in each dataset. This explains which datasets fail, for the sequence and for sex, and why removing the dataset signal with INLP, LEACE, CORAL or adversarial training never improves sequence transfer. Only the broadly pretrained 3DINO and SAM-Med3D encode the sequence consistently enough to transfer; the brain-specific BrainIAC and BrainFM do no better than an untrained network. Code is available at https://github.com/BrainFM/brainfm-profiler/tree/main/representation_utility.