PhonoBridge: Error-Aware Phoneme-Mediated EMG-to-Text Reconstruction

📄 arXiv: 2610.27678v1 📥 PDF

作者: Wen Qiu, Jiacheng Zhang, Xuanda Chen, Siqi Cai, Haizhou Li

分类: cs.SD, cs.CL, cs.HC

发布日期: 2026-10-20

💡 一句话要点

提出PhonoBridge以解决EMG文本重建中的噪声问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 肌电图 静默语音识别 文本重建 大型语言模型 错误特征增强 音素表示 通道感知

📋 核心要点

  1. 现有的EMG到文本解码方法面临配对数据稀缺和噪声干扰的问题，导致准确性不足。
  2. PhonoBridge通过引入音素作为中间表示，并利用大型语言模型进行文本重建，克服了数据稀缺的挑战。
  3. 在Open Vocabulary静默语音数据集上，PhonoBridge的字错误率为24.77%，显著优于之前的28.27%的最佳结果。

📝 摘要（中文）

肌电图（EMG）提供了一种非侵入性的方式将静默发音解码为文本，但由于配对的EMG-文本数据有限，准确解码仍然具有挑战性。我们提出了PhonoBridge，一个包含通道感知的EMG到音素前端和大型语言模型（LLM）后端的两阶段框架。前端在配对的EMG-文本数据上进行训练，包含通道特征提取、跨通道融合和电极嵌入。通过将LibriSpeech转录文本转换为音素-文本对，我们扩展了后端的训练数据。为适应前端噪声，我们引入了基于错误特征的增强（EPGA），根据前端预测的错误模式扰动转录生成额外的训练对。在Open Vocabulary静默语音数据集上，PhonoBridge实现了24.77%的字错误率（WER），超越了之前28.27%的最佳结果。

🔬 方法详解

问题定义：本论文旨在解决肌电图（EMG）到文本重建中的噪声干扰和配对数据稀缺问题。现有方法在解码静默发音时准确性不足，主要受限于可用的EMG-文本配对数据的稀缺性。

核心思路：PhonoBridge的核心思路是将音素作为中间表示，通过前端提取EMG特征并与大型语言模型结合，增强文本重建的准确性。此设计旨在利用音素的结构特性来缓解噪声影响。

技术框架：PhonoBridge的整体架构分为两个主要模块：EMG到音素的前端和基于大型语言模型的后端。前端负责从EMG信号中提取通道特征，并进行跨通道融合，而后端则利用音素-文本对进行训练。

关键创新：论文的关键创新在于引入了基于错误特征的增强（EPGA），通过扰动音素序列生成额外的训练对，从而有效提高了模型对前端噪声的适应能力。这一方法与传统的直接训练方式有本质区别。

关键设计：在模型设计中，前端采用了通道感知的特征提取方法，后端则利用大型语言模型进行训练。损失函数设计上，结合了音素重建的准确性和对噪声的鲁棒性，确保模型在多样化的输入条件下仍能保持良好的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

PhonoBridge在Open Vocabulary静默语音数据集上实现了24.77%的字错误率（WER），相比之前的28.27%有显著提升，展示了其在EMG到文本重建中的有效性和创新性。该方法通过引入EPGA，增强了模型对前端噪声的适应能力，提升了整体性能。

🎯 应用场景

该研究在静默语音识别、辅助沟通设备及人机交互等领域具有广泛的应用潜力。通过提高EMG到文本的解码准确性，PhonoBridge能够为有语言障碍的人群提供更有效的沟通工具，改善他们的生活质量。此外，该技术的进步也可能推动智能设备与用户之间的自然交互。

📄 摘要（原文）

Electromyography (EMG) provides a non-invasive means of decoding silently articulated speech into text, but accurate decoding remains challenging due to limited availability of paired EMG-text data. We introduce PhonoBridge, a two-stage framework comprising a channel-aware EMG-to-phoneme frontend and a large language model (LLM) backend for text reconstruction. The frontend is trained on paired EMG-text data that consists of channel-wise feature extraction, cross-channel fusion, and electrode embeddings. With phonemes as the intermediate representation, we expand the backend's training data by converting LibriSpeech transcripts into phoneme-text pairs without additional EMG recordings. To adapt the LLM to frontend noise, we introduce Error-Profile-Guided Augmentation (EPGA), which perturbs transcript-derived phoneme sequences according to error patterns estimated from frontend predictions, generating additional training pairs for the LLM. On the Open Vocabulary silent-speech dataset, PhonoBridge achieves 24.77% WER, outperforming the previously reported best of 28.27% on the same test split.