ZeroMAG: Zero-Shot Multimodal Adapter Generation for Plug-and-Play EEG Foundation Models

📄 arXiv: 2610.03546v1 📥 PDF

作者: Yubo Wang, Jingying Ma, Xinliang Zhou, Yangxuan Zhou, Jiquan Wang, Sha Zhao, Yiyuan Yang, Yi Ding, Ziyu Jia, Chenyu Liu, Cuntai Guan

分类: cs.LG

发布日期: 2026-10-02

备注: 41 pages

💡 一句话要点

提出ZeroMAG框架以解决EEG多模态适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: EEG基础模型 多模态适应 零-shot学习 生理信号 适配器生成

📋 核心要点

  1. 现有EEG基础模型在处理多模态数据时面临知识保留与适应性扩展的挑战。
  2. ZeroMAG通过零-shot适配器生成框架，利用未标记数据扩展EEG模型，避免了目标标签的需求。
  3. 实验显示，ZeroMAG在多项任务中显著提升了模型的平衡准确率，验证了其有效性。

📝 摘要（中文）

EEG基础模型（EFMs）从大规模EEG数据中捕获可重用知识，但许多EEG记录还包含伴随的生理信号，提供超越EEG的互补信息。本文提出ZeroMAG，一个零-shot多模态适配器生成框架，能够在没有目标标签或目标侧优化的情况下，利用未标记的目标记录扩展冻结的EEG编码器和预测头。ZeroMAG通过配置不变的适配器组织伴随模态，从未标记的记录和任务上下文构建模态-主体-任务条件，并在从源适配器学习的功能约束潜在空间中生成适配器权重。实验结果表明，ZeroMAG在六个保留的目标数据集和三个EFM骨干网络上，相较于仅使用EEG推理，平衡准确率提高了7.22个百分点，且与监督多模态适应的平均差距仅为0.50个百分点。

🔬 方法详解

问题定义：本文旨在解决如何在不使用目标标签的情况下，将EEG基础模型有效扩展到多模态记录的问题。现有方法在处理异构数据时，往往无法有效保留预训练知识。

核心思路：ZeroMAG的核心思路是通过零-shot适配器生成，利用未标记的目标数据构建模态-主体-任务条件，从而在不进行目标侧优化的情况下扩展模型。

技术框架：ZeroMAG的整体架构包括三个主要模块：冻结的EEG编码器、预测头和适配器生成模块。适配器生成模块在功能约束的潜在空间中生成适配器权重，确保模型适应性。

关键创新：ZeroMAG的创新在于其零-shot适配器生成能力，能够在没有目标标签的情况下有效利用未标记数据，这一设计与传统的需要标记数据的适应方法本质上不同。

关键设计：在设计上，ZeroMAG采用了功能约束的潜在空间来生成适配器权重，并通过条件生成和表示学习的功能监督来提升适配器性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ZeroMAG在六个保留的目标数据集上，相较于仅使用EEG推理，平衡准确率提高了7.22个百分点，且与直接权重回归相比提升了4.89个百分点。与监督多模态适应的平均差距仅为0.50个百分点，显示出其强大的适应能力和有效性。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、神经科学研究和医疗监测等。通过有效整合EEG与其他生理信号，ZeroMAG能够提升多模态数据分析的准确性，为相关领域的研究和应用提供更强的支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

EEG foundation models (EFMs) capture reusable knowledge from large-scale EEG data, while many EEG recordings also include companion physiological signals that provide complementary information beyond the EEG-only interface. The challenge is to preserve this pretrained knowledge while extending the EFM to heterogeneous multimodal recordings through an adaptation inferred from unlabeled target data. We introduce ZeroMAG, a zero-shot multimodal adapter generation framework that extends a frozen EEG encoder and prediction head using unlabeled target recordings, without target labels or target-side optimization. The target datasets are held out from all model training and selection in the ZeroMAG pipeline. ZeroMAG organizes companion modalities around a configuration-invariant adapter, constructs a modality-subject-task condition from unlabeled recordings and task context, and generates adapter weights in a function-constrained latent space learned from source adapters. Across six held-out target datasets and three EFM backbones, ZeroMAG improves balanced accuracy by 7.22 percentage points over EEG-only inference and 4.89 points over direct weight regression, while coming within 0.50 points of supervised multimodal adaptation on average. Ablations further show that removing functional supervision from either representation learning or conditional generation degrades generated-adapter performance, confirming the contribution of both components.