A Language-Guided Multimodal Foundation Model for Zero-Shot and Multi-Task Brain Signal Analysis

📄 arXiv: 2609.15740v1 📥 PDF

作者: Mingzhi Chen, Yiyu Gui, Guibo Luo, Yuchao Yang

分类: cs.LG, cs.AI

发布日期: 2026-09-14

备注: 38 pages, 7 main figures and 20 supplementary figures; includes Supporting Information. Code: https://github.com/mingzhi-c/metis-brain-signal-foundation-model

期刊: Advanced Intelligent Systems, e70486 (2026)

DOI: 10.1002/aisy.70486

💡 一句话要点

提出METIS模型以解决脑信号分析中的多任务与零样本问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑信号分析 多模态模型 零样本学习 多任务学习 神经科学 机器学习 数据效率

📋 核心要点

  1. 现有脑信号分析方法面临任务特定重训练和泛化能力不足的挑战，影响了其应用效果。
  2. 论文提出METIS模型，通过统一的语言-信号对齐框架，实现零样本和多任务脑信号分析。
  3. 在12个数据集的零样本评估中，METIS的平均准确率提升超过20.9%，且在少样本和跨数据集迁移中表现优异。

📝 摘要（中文）

脑信号分析对神经科学研究和临床诊断至关重要，但现有方法存在重大局限性。端到端模型需要针对特定任务的重新训练，且泛化能力有限，而预训练模型缺乏语义深度，仍需大量微调。同时，尽管通用多模态基础模型在其他领域表现强大，但由于表征不对齐和缺乏领域知识，难以解释脑信号。本研究通过统一的语言-信号对齐框架，提出了一种用于零样本和多任务脑信号分析的多模态基础模型METIS。METIS在迄今为止最大、最具多样性的脑信号语料库上进行预训练，包含超过70,000小时的录音，来自11,000多名受试者的20个数据集。在12个数据集的全面零样本评估中，METIS的平均准确率超过领先通用模型20.9%。值得注意的是，METIS在没有任何微调的情况下，其性能与监督的特定任务模型相当或更优。此外，METIS在少样本设置下实现了超过16.0%的AUROC优势，在跨数据集迁移中则达到了15.9%。这项工作为通用脑信号分析建立了新的范式，为下一代神经技术铺平了道路。

🔬 方法详解

问题定义：本研究旨在解决现有脑信号分析方法在任务特定重训练和泛化能力不足的问题。现有的端到端模型和预训练模型在实际应用中存在局限性，难以有效处理多样化的脑信号数据。

核心思路：论文提出的METIS模型通过统一的语言-信号对齐框架，能够在没有微调的情况下实现零样本和多任务的脑信号分析，从而提高模型的泛化能力和数据效率。

技术框架：METIS模型的整体架构包括数据预处理、语言-信号对齐模块和多任务学习模块。首先，模型在大规模脑信号语料库上进行预训练，然后通过对齐机制将语言信息与脑信号特征结合，最后实现多任务学习。

关键创新：METIS的主要创新在于其语言-信号对齐框架，使得模型能够在不同任务间共享知识，克服了传统模型在特定任务上的局限性。这一设计使得模型在零样本和少样本场景中表现出色。

关键设计：在模型设计中，采用了特定的损失函数以优化语言与信号的对齐效果，并在网络结构上进行了调整，以提高模型的表达能力和学习效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

METIS在12个数据集的零样本评估中，平均准确率提升超过20.9%，且在没有微调的情况下，其性能与监督的特定任务模型相当或更优。此外，在少样本设置下，METIS实现了超过16.0%的AUROC优势，显示出其卓越的数据效率和泛化能力。

🎯 应用场景

该研究的METIS模型具有广泛的应用潜力，能够用于神经科学研究、临床诊断和脑机接口等领域。通过提高脑信号分析的准确性和效率，METIS有望推动个性化医疗和智能神经技术的发展，改善患者的治疗效果。

📄 摘要（原文）

Brain signal analysis is essential for both neuroscience research and clinical diagnostics, yet current approaches face critical limitations. End-to-end models require task-specific retraining and exhibit limited generalization, while pre-trained models lack semantic depth and still depend on extensive fine-tuning. Meanwhile, general-purpose multimodal foundation models, though powerful in other domains, struggle to interpret brain signals due to representational misalignment and lack of domain knowledge. This study introduces a multimodal foundation model for zero-shot and multi-task brain signal analysis (METIS) through a unified language-signal alignment framework. METIS is pretrained on the largest and most diverse brain-signal corpus to date, comprising over 70,000 h of recordings from more than 11,000 subjects across 20 datasets. In a comprehensive zero-shot evaluation across 12 datasets, METIS outperformed the leading generalist model by over 20.9% in average accuracy. Remarkably, without any fine-tuning, METIS's performance matches or exceeds that of supervised, task-specific models. Furthermore, METIS demonstrates exceptional data efficiency and strong generalization, achieving an average AUROC advantage of over 16.0% in few-shot settings and 15.9% in cross-dataset transfer. This work establishes a new paradigm for general-purpose brain signal analysis, paving the way for next-generation neurotechnology.