Subject-Invariant Cross-Modal Decoding of Perceived Speech from Brain Recordings

📄 arXiv: 2609.30832v1 📥 PDF

作者: Aoke Zhang, Jing Chen

分类: cs.SD, cs.AI, eess.AS

发布日期: 2026-09-25

备注: Submitted to ICASSP 2027

💡 一句话要点

提出SICMD方法以解决跨主体感知语音解码问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 脑机接口 感知语音解码 跨模态融合 功能性磁共振成像 脑磁图 神经表征 跨主体泛化

📋 核心要点

  1. 现有方法在提取神经表征和跨主体泛化方面存在不足，难以有效解码感知语音。
  2. 本文提出的SICMD方法结合fMRI和MEG，旨在同时解决神经表征提取和跨主体泛化的问题。
  3. 实验结果显示，SICMD方法在多个指标上显著提升性能，并大幅降低训练成本，验证了其有效性。

📝 摘要（中文）

基于非侵入性脑机接口（BCI）信号的感知语音解码近年来受到广泛研究。该领域主要面临两个挑战：提取丰富时空信息的神经表征和实现跨主体的泛化。尽管已有研究提出了应对这些问题的方法，但缺乏同时解决这两个挑战的统一方案。为填补这一空白，本文提出了主观不变的跨模态感知语音解码（SICMD）方法，结合功能性磁共振成像（fMRI）和脑磁图（MEG）。实验结果表明，该方法在跨主体感知语音解码任务中，Top-1、Top-10和Rankacc分别提高了10.6%、10.1%和1.7%，同时训练成本降低了88.8%和60.5%。

🔬 方法详解

问题定义：本文旨在解决基于脑机接口的感知语音解码中的两个核心问题：如何提取具有丰富时空信息的神经表征，以及如何实现跨主体的泛化能力。现有方法往往只针对其中一个问题，缺乏统一的解决方案。

核心思路：SICMD方法的核心思想是通过融合fMRI和MEG信号，利用两者的互补特性来增强神经表征的提取能力，并实现跨主体的有效解码。这种设计使得模型能够更好地捕捉到感知语音的复杂特征。

技术框架：该方法的整体架构包括数据预处理、特征提取、模态融合和解码四个主要模块。首先对fMRI和MEG数据进行预处理，然后通过深度学习模型提取特征，接着在特征层面进行模态融合，最后进行语音解码。

关键创新：SICMD方法的主要创新在于其跨模态融合策略，能够同时利用fMRI和MEG的优势，显著提升解码性能。这与传统方法单一模态解码的方式形成了鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化跨模态特征的融合效果，并在网络结构上进行了调整，以适应不同模态数据的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SICMD方法在跨主体感知语音解码任务中，Top-1、Top-10和Rankacc分别提高了10.6%、10.1%和1.7%。此外，与多主体和单主体解码设置相比，训练成本分别降低了88.8%和60.5%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括脑机接口技术、神经科学研究以及人机交互等。通过提高感知语音解码的准确性，SICMD方法可以为脑机接口的实际应用提供更可靠的支持，推动相关技术的发展和应用。

📄 摘要（原文）

Perceived speech decoding based on non-invasive brain-computer interface (BCI) signals has been extensively studied in recent years. Research in this field primarily faces two challenges: extracting neural representations with rich spatiotemporal information and achieving cross-subject generalization. Although separate studies have proposed methods to cope with these issues, a unified approach that simultaneously tackles both challenges remains lacking. To fill this gap, we propose the Subject-Invariant Cross-Modal Perceived Speech Decoding (SICMD) method, which integrates functional magnetic resonance imaging (fMRI) and magnetoencephalography (MEG). We conduct comprehensive analyses of the fusion method, fusion position, encoder architecture, and model inputs. Our results demonstrate that the proposed method improves Top-1, Top-10, and Rankacc by more than 10.6%, 10.1%, and 1.7%, respectively, compared to baseline methods in cross-subject perceived speech decoding tasks, while reducing training costs by 88.8% and 60.5% compared to multi-subject and intra-subject decoding settings. Further visualization experiments also confirm the effectiveness of our approach.