Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment

📄 arXiv: 2610.22049v1 📥 PDF

作者: Corentin Caris, Louis Jalouzot, Nona Rajabi, Géraud Ilinca, Ahmed Hassayoune, Asilbek Muminov, Thaddée Delebarre, Clara Fonteneau, Charles Maussion, Bertrand Thirion, Alexis Thual, Antoine Collas

分类: cs.LG, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出NOEMA以解决fMRI自然语言理解中的信息恢复问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 脑机接口 多模态学习 时间卷积网络 信息检索 fMRI分析 神经科学 认知科学

📋 核心要点

  1. 现有方法在从fMRI数据中恢复自然语言信息时面临噪声和时间模糊的挑战，导致信息提取困难。
  2. 论文提出NOEMA，通过时间卷积解码器将连续fMRI测量与多模态刺激嵌入对齐，增强信息检索能力。
  3. 在两个自然语言数据集上，NOEMA的表现显著优于基线解码器，且在扩展候选池时依然保持高效性。

📝 摘要（中文）

从脑活动中重建个体感知的信息是神经记录是否携带有意义信息的严格测试。自然语言提供了丰富的测试场景，但fMRI的噪声和时间模糊使得这种结构难以恢复。本文提出NOEMA，一种时间卷积解码器，通过将连续fMRI测量窗口与多模态刺激嵌入对齐，直接从脑活动中检索刺激段。在两个自然语言数据集Cephalonauts One和LeBel上，NOEMA在2000个候选中，超过42%的保留查询在前10名内检索到正确段落，显著优于基线解码器，且在候选池扩展到数千个干扰项时仍保持优势。控制性消融实验验证了时间建模和互补刺激表示的贡献。

🔬 方法详解

问题定义：本文旨在解决从fMRI数据中恢复自然语言信息的挑战，现有方法因噪声和时间模糊而难以有效提取信息。

核心思路：NOEMA的核心思路是通过时间卷积解码器对连续的fMRI测量窗口进行处理，并与多模态刺激嵌入进行对齐，从而直接从脑活动中检索刺激段。

技术框架：NOEMA的整体架构包括数据预处理、时间卷积解码器、刺激嵌入生成和检索模块。首先对fMRI数据进行预处理，然后通过时间卷积解码器对连续测量进行建模，最后结合多模态刺激嵌入进行信息检索。

关键创新：NOEMA的主要创新在于引入时间卷积解码器和多模态刺激嵌入的结合，这种设计使得模型能够更好地捕捉时间序列中的信息结构，与传统方法相比具有显著优势。

关键设计：在模型设计中，使用了特定的损失函数来优化信息检索的准确性，并对时间卷积层的参数进行了精细调整，以提高模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NOEMA在两个自然语言数据集上表现出色，能够在2000个候选中，超过42%的保留查询在前10名内检索到正确段落，显著优于基线解码器，且在扩展候选池时仍保持优势，显示出其强大的信息检索能力。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、认知神经科学和语言处理等。通过更准确地解码脑活动中的语言信息，未来可能推动人机交互的进步，改善残疾人士的沟通能力，并为理解人类语言处理提供新的视角。

📄 摘要（原文）

Reconstructing what a person perceives from their brain activity is a stringent test of whether neural recordings carry meaningful information. Naturalistic speech offers a rich testbed for this challenge: it unfolds over multiple timescales, but fMRI's noisy, temporally smeared measurements make this structure hard to recover. We introduce NOEMA, a temporal convolutional decoder that aligns windows of consecutive fMRI measurements with multimodal stimulus embeddings. These embeddings combine complementary text, audio, and speech representations of the same stimulus segment, enabling its retrieval directly from brain activity. On two naturalistic speech datasets, Cephalonauts One and LeBel, NOEMA retrieves the correct segment among 2,000 candidates within the top 10 for more than 42% of held-out queries. This substantially outperforms baseline decoders, an advantage that persists when the candidate pool is extended with thousands of distractors absent from training. Controlled ablations establish the contributions of temporal modeling and complementary stimulus representations.