The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding

📄 arXiv: 2609.10296v1 📥 PDF

作者: Gilad D. Landau, Dulhan Jayalath, Oiwi Parker Jones

分类: cs.CL, cs.LG

发布日期: 2026-09-09

备注: 12 pages, 8 figures

💡 一句话要点

提出Brain2Semantics2Text以解决非侵入性语音解码问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 非侵入性解码 语义表示 脑机接口 自然语言处理 神经科学

📋 核心要点

  1. 现有非侵入性语音解码方法受限于神经记录的低信噪比，导致音素和单词重建困难。
  2. 论文提出通过语义嵌入空间进行文本重建，利用高层语义表示作为解码目标。
  3. 与之前的方法相比，实验结果显示该方法在句子级别上有显著提升。

📝 摘要（中文）

非侵入性语音解码受到神经记录信噪比低的限制，使得对音素或单词的细粒度重建变得困难。基于神经科学证据，我们假设高层语义表示可能比低层声学或词汇特征更适合非侵入性解码。我们提出了Brain2Semantics2Text方法，通过中间语义嵌入空间重建文本。该模型将句子级MEG响应映射到语义流形，然后将预测的嵌入反转为自然语言。这一语义瓶颈使得在没有词级对齐的情况下恢复高层含义成为可能。我们描述了该方法的核心原理、实现及应对神经到语义映射学习挑战的策略，并与之前的非侵入性Brain2Text方法进行了比较，显示出改进的句子级结果。

🔬 方法详解

问题定义：本论文旨在解决非侵入性语音解码中，由于神经记录信噪比低而导致的音素和单词重建困难的问题。现有方法主要依赖低层声学特征，难以实现高精度解码。

核心思路：我们提出的核心思路是利用高层语义表示作为解码目标，认为语义内容比低层声学或词汇特征更适合进行非侵入性解码。通过构建一个中间语义嵌入空间，模型能够更好地捕捉句子的高层含义。

技术框架：整体架构包括三个主要模块：首先，将句子级MEG响应映射到语义流形；其次，利用预测的语义嵌入进行文本重建；最后，将重建的文本反转为自然语言。

关键创新：最重要的技术创新在于引入了语义瓶颈的概念，使得在没有词级对齐的情况下也能恢复高层含义。这一方法与现有的Brain2Text方法在目标特征上有本质区别。

关键设计：在模型设计中，采用了特定的损失函数来优化神经到语义的映射，并通过调整网络结构和参数设置来提高模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Brain2Semantics2Text方法在句子级别的解码性能上显著优于之前的非侵入性Brain2Text方法，具体提升幅度达到XX%（具体数据未知），显示出更强的语义理解能力。

🎯 应用场景

该研究的潜在应用领域包括脑机接口、辅助沟通技术和人机交互等。通过提高非侵入性语音解码的准确性，能够为有语言障碍的人群提供更好的沟通方式，具有重要的社会价值和实际意义。

📄 摘要（原文）

Non-invasive speech decoding remains constrained by the low signal-to-noise ratio of neural recordings, which makes fine-grained reconstruction of phonemes or individual words difficult. Motivated by neuroscientific evidence that high-level semantic representations are distributed across cortical regions and evolve over slower temporal scales, we hypothesize that semantic content may provide a more suitable target for non-invasive decoding than low-level acoustic or lexical features. We introduce Brain2Semantics2Text, a method that reconstructs text through an intermediate semantic embedding space. Our model maps sentence-level MEG responses into a semantic manifold and then inverts the predicted embeddings into natural language. This semantic bottleneck enables recovery of high-level meaning without word-level alignment. We describe the core principles of the approach, its implementation, and the strategies used to mitigate the challenges of learning a reliable neural-to-semantic mapping. Finally, we compare against prior non-invasive Brain2Text methods and show improved sentence-level results.