One Brain, Omni Modalities: Towards Unified Non-Invasive Brain Decoding with Large Language Models

📄 arXiv: 2602.21522v1 📥 PDF

作者: Changli Tang, Shurui Li, Junliang Wang, Qinfan Xiao, Zhonghao Zhai, Lei Bai, Yu Qiao, Bowen Zhou, Wen Wu, Yuanning Li, Chao Zhang

分类: q-bio.NC, cs.AI, cs.CL

发布日期: 2026-02-25

💡 一句话要点

NOBEL：利用大语言模型实现统一的非侵入式脑解码

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 脑解码 大语言模型 多模态融合 EEG fMRI 脑机接口 神经科学

📋 核心要点

  1. 现有非侵入式脑功能解码方法难以有效整合EEG/MEG和fMRI等多模态数据，阻碍了对大脑活动的全面理解。
  2. NOBEL通过构建神经-全模态大脑编码大语言模型，将异构脑信号统一到LLM的语义嵌入空间中，实现跨模态融合。
  3. 实验表明，NOBEL在单模态任务中表现出色，且多模态融合能提升解码精度，并能有效进行刺激感知解码。

📝 摘要（中文）

通过非侵入式记录解读大脑功能需要整合互补的高频电磁信号（EEG/MEG）和低频代谢信号（fMRI）。然而，尽管它们具有共同的神经起源，但极端的差异传统上将这些模态限制在孤立的分析流程中，阻碍了对大脑活动的整体解释。为了弥合这种碎片化，我们引入了NOBEL，一个神经-全模态大脑编码大语言模型（LLM），它将这些异构信号统一在LLM的语义嵌入空间中。我们的架构集成了用于EEG和MEG的统一编码器以及用于fMRI的新型双路径策略，将非侵入性脑信号和外部感觉刺激对齐到共享的token空间中，然后利用LLM作为通用骨干。广泛的评估表明，NOBEL在标准单模态任务中充当了强大的通用模型。我们还表明，电磁和代谢信号的协同融合比单模态基线产生更高的解码精度，验证了多种神经模态的互补性。此外，NOBEL在刺激感知解码方面表现出强大的能力，有效地从NSD和HAD数据集上的多受试者fMRI数据中解释视觉语义，同时独特地利用直接刺激输入来验证感觉信号和神经反应之间的因果关系。因此，NOBEL朝着统一非侵入性脑解码迈出了一步，展示了全模态大脑理解的有希望的潜力。

🔬 方法详解

问题定义：现有非侵入式脑解码方法通常独立处理不同模态的脑信号（如EEG/MEG和fMRI），无法有效利用它们之间的互补信息。这导致对大脑活动的理解不够全面，并且难以建立感觉刺激与神经反应之间的因果联系。现有方法缺乏一个统一的框架来整合这些异构信号，并利用它们之间的内在联系。

核心思路：NOBEL的核心思路是将不同模态的脑信号（EEG/MEG和fMRI）以及外部感觉刺激统一编码到大语言模型（LLM）的语义嵌入空间中。通过这种方式，不同模态的信号可以共享信息，LLM可以学习它们之间的关系，从而实现更准确和全面的脑解码。这种方法借鉴了自然语言处理中利用LLM进行语义理解的思想，将其应用于脑信号处理。

技术框架：NOBEL的整体架构包括以下几个主要模块：1) 用于EEG和MEG的统一编码器：将EEG和MEG信号编码为token序列。2) 用于fMRI的双路径编码器：采用两条路径分别处理fMRI信号，以适应其低频特性。3) LLM骨干网络：将不同模态的token序列输入LLM，利用其强大的语义理解能力进行融合和解码。4) 刺激输入模块：将外部感觉刺激信息也编码为token序列，并输入LLM，以建立刺激与神经反应之间的联系。

关键创新：NOBEL最重要的技术创新点在于其统一的编码框架，能够将不同模态的脑信号和外部感觉刺激整合到同一个语义空间中。这使得LLM能够学习它们之间的复杂关系，从而实现更准确和全面的脑解码。此外，NOBEL还创新性地利用直接刺激输入来验证感觉信号和神经反应之间的因果联系，这在以往的脑解码研究中较少涉及。

关键设计：在EEG/MEG编码器中，使用了Transformer架构来捕捉时间依赖关系。fMRI双路径编码器可能包含卷积神经网络（CNN）或Transformer，以提取空间特征。LLM骨干网络可以选择现有的预训练LLM，如BERT或GPT系列。损失函数可能包括重建损失（用于确保编码器能够准确重建原始信号）和对比学习损失（用于拉近相关信号在语义空间中的距离）。具体参数设置和网络结构的选择可能需要根据具体数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

NOBEL在多个标准单模态任务中表现出强大的通用性。更重要的是，电磁信号（EEG/MEG）和代谢信号（fMRI）的协同融合显著提高了解码精度，验证了多模态神经信号的互补性。NOBEL还成功地从多受试者fMRI数据中解码视觉语义，并利用直接刺激输入验证了感觉信号和神经反应之间的因果关系。具体性能数据（如解码精度提升百分比）未知，需要在论文中查找。

🎯 应用场景

NOBEL的研究成果可应用于多种领域，如：脑机接口、神经疾病诊断、认知功能评估和个性化治疗。通过更准确地解码大脑活动，可以开发出更高效的脑机接口系统，帮助瘫痪患者恢复运动功能。此外，NOBEL还可以用于早期诊断阿尔茨海默病等神经退行性疾病，并评估药物或治疗方法对大脑活动的影响。未来，NOBEL有望推动脑科学研究的进展，并为改善人类健康做出贡献。

📄 摘要（原文）

Deciphering brain function through non-invasive recordings requires synthesizing complementary high-frequency electromagnetic (EEG/MEG) and low-frequency metabolic (fMRI) signals. However, despite their shared neural origins, extreme discrepancies have traditionally confined these modalities to isolated analysis pipelines, hindering a holistic interpretation of brain activity. To bridge this fragmentation, we introduce \textbf{NOBEL}, a \textbf{n}euro-\textbf{o}mni-modal \textbf{b}rain-\textbf{e}ncoding \textbf{l}arge language model (LLM) that unifies these heterogeneous signals within the LLM's semantic embedding space. Our architecture integrates a unified encoder for EEG and MEG with a novel dual-path strategy for fMRI, aligning non-invasive brain signals and external sensory stimuli into a shared token space, then leverages an LLM as a universal backbone. Extensive evaluations demonstrate that NOBEL serves as a robust generalist across standard single-modal tasks. We also show that the synergistic fusion of electromagnetic and metabolic signals yields higher decoding accuracy than unimodal baselines, validating the complementary nature of multiple neural modalities. Furthermore, NOBEL exhibits strong capabilities in stimulus-aware decoding, effectively interpreting visual semantics from multi-subject fMRI data on the NSD and HAD datasets while uniquely leveraging direct stimulus inputs to verify causal links between sensory signals and neural responses. NOBEL thus takes a step towards unifying non-invasive brain decoding, demonstrating the promising potential of omni-modal brain understanding.