fMRI-TAMCL: Text-Anchored Supervised Multimodal Contrastive Learning for fMRI-Based Brain Disorder Classification

📄 arXiv: 2610.05880v1 📥 PDF

作者: Juliana Mantebea Danso, Enoch Opanin Gyamfi, Mylene C. Q. Farias

分类: cs.CV

发布日期: 2026-10-05

备注: 10 pages, 6 figures

💡 一句话要点

提出fMRI-TAMCL以解决fMRI脑部疾病分类中的多模态融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 功能磁共振成像 多模态学习 对比学习 脑部疾病分类 文本生成 稀疏功能连接 深度学习

📋 核心要点

  1. 现有方法在融合rs-fMRI数据时，缺乏有效的文本模态，导致泛化能力不足。
  2. fMRI-TAMCL框架通过集成fMRI图像、稀疏FC和生成的特定文本，提升了分类效果。
  3. 在五个数据集上，fMRI-TAMCL的分类准确率达到78.6%-86.4%，显著优于29个基线方法。

📝 摘要（中文）

静息态功能磁共振成像（rs-fMRI）在脑部疾病分类中具有重要意义，但其高度多模态性和强烈的多站点异质性使得现有方法面临挑战。现有方法通常融合图像、基于BOLD的功能连接和表型数据，但rs-fMRI数据集很少包含文本模态，导致生成的文本依赖于固定假设，影响了跨数据集的泛化能力。为此，本文提出了fMRI-TAMCL，一个文本锚定的多模态对比学习框架，集成了fMRI图像、稀疏FC和生成的特定文本。实验结果表明，fMRI-TAMCL在五个数据集上表现出优越的泛化能力，分类准确率达到78.6%-86.4%，超越了29个基线方法。

🔬 方法详解

问题定义：本文旨在解决静息态fMRI数据在脑部疾病分类中的多模态融合问题，现有方法由于缺乏文本模态，导致泛化能力不足，影响分类效果。

核心思路：fMRI-TAMCL框架通过引入文本锚定的对比学习，结合fMRI图像、功能连接和生成的文本信息，增强了模型的学习能力和泛化能力。

技术框架：该框架包括三个主要模块：Subject-Adaptive Threshold Derivation模块用于生成BOLD激活文本，Feature-Value Serialization模块用于生成表型文本，最后通过对比学习和注意力机制进行融合，形成统一的表示。

关键创新：fMRI-TAMCL的创新在于引入了文本模态，并通过对比学习实现了多模态信息的有效融合，这与传统方法的单一模态融合形成了鲜明对比。

关键设计：在模型设计中，采用了聚类图编码方式，将三种模态投影到共享的单位超球面空间，并使用文本锚定的对比损失函数进行训练，以提高模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

fMRI-TAMCL在五个不同的数据集上进行评估，分类准确率达到78.6%-86.4%，显著优于29个基线方法，展示了其卓越的泛化能力和有效性。这一结果表明，fMRI-TAMCL在处理多模态数据时具有明显的优势。

🎯 应用场景

该研究的潜在应用领域包括脑部疾病的早期诊断和个性化治疗，尤其是在精神疾病和神经退行性疾病的分类中。通过提升rs-fMRI数据的利用效率，fMRI-TAMCL有望为临床实践提供更为精准的辅助决策支持，推动脑科学研究的发展。

📄 摘要（原文）

Resting-state fMRI is important in the classification of brain disorders, but highly multimodal and exhibits strong multisite heterogeneity. Existing methods fuse images, BOLD-based functional connectivity, and phenotypic data modalities. Unlike other medical imaging datasets, rs-fMRI datasets rarely include a text modality, so they are generated from phenotypic data or BOLD activations. These text generation methods rely on fixed assumptions for subjects, sites, devices, and protocols, leading to poor generalization across datasets. We propose fMRI-TAMCL, a text-anchored multimodal contrastive learning framework that integrates fMRI images, sparse FC, and generated subject-specific text. Its Subject-Adaptive Threshold Derivation module generates BOLD activation text, while Feature-Value Serialization module generates phenotypic text. All three modalities are encoded as clustered graphs, projected onto a shared unit hypersphere space, aligned using pairwise, text-anchored supervised contrastive learning, and fused with attention. fMRI-TAMCL proves its generalization capability across five datasets outperforming 29 baselines with 78.6%-86.4% accuracy in downstream classification.