Large Language Model Should Understand Pinyin for Chinese ASR Error Correction

📄 arXiv: 2409.13262v1 📥 PDF

作者: Yuang Li, Xiaosong Qiao, Xiaofeng Zhao, Huan Zhao, Wei Tang, Min Zhang, Hao Yang

分类: cs.CL, cs.SD, eess.AS

发布日期: 2024-09-20

💡 一句话要点

提出拼音增强的GEC模型，提升中文语音识别纠错能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音识别 错误纠正 拼音增强 生成式模型 多任务学习

📋 核心要点

  1. 现有GEC模型在中文ASR纠错中表现不足，缺乏对语音信息的有效利用。
  2. 提出拼音增强的GEC模型，将拼音作为辅助信息，提升模型对语音错误的识别能力。
  3. 实验表明，该方法在Aishell-1和Common Voice数据集上均优于基线模型，证明了其有效性。

📝 摘要（中文）

本文提出了一种拼音增强的生成式错误纠正（Pinyin-enhanced GEC）方法，利用汉语拼音作为补充信息，以提高中文自动语音识别（ASR）的错误纠正能力。该方法仅使用合成错误数据进行训练，并在推理阶段采用one-best假设。此外，我们引入了一种多任务训练方法，涉及拼音和文本之间的转换任务，以对齐它们的特征空间。在Aishell-1和Common Voice数据集上的实验表明，我们的方法始终优于仅使用文本输入的GEC。更重要的是，我们从两个方面直观地解释了PY-GEC和多任务训练的有效性：1）增加了对拼音特征的注意力权重；2）对齐了拼音和文本隐藏状态之间的特征空间。

🔬 方法详解

问题定义：论文旨在解决中文自动语音识别（ASR）系统中存在的错误纠正问题。现有的生成式错误纠正（GEC）模型主要依赖文本信息，忽略了语音信息中蕴含的拼音等特征，导致纠错性能受限。特别是在中文语音识别中，同音字、近音字等问题容易导致识别错误，而这些错误往往可以通过拼音信息进行区分和纠正。

核心思路：论文的核心思路是利用汉语拼音作为辅助信息，增强GEC模型对语音错误的识别和纠正能力。通过将拼音信息融入到GEC模型中，可以帮助模型更好地理解语音的声学特征，从而更准确地纠正ASR系统产生的错误。同时，通过多任务学习，对齐拼音和文本的特征空间，进一步提升模型的性能。

技术框架：该方法的技术框架主要包括以下几个模块：1）拼音编码器：将输入的文本转换为对应的拼音序列；2）文本编码器：将输入的文本进行编码，提取文本特征；3）融合模块：将拼音特征和文本特征进行融合，得到融合后的特征表示；4）解码器：根据融合后的特征表示，生成纠正后的文本序列。此外，还采用了多任务学习策略，同时训练拼音到文本和文本到拼音的转换任务，以对齐拼音和文本的特征空间。

关键创新：该论文的关键创新在于：1）提出了拼音增强的GEC模型，将拼音信息作为辅助信息，提升了中文ASR错误纠正的性能；2）引入了多任务学习策略，通过拼音到文本和文本到拼音的转换任务，对齐了拼音和文本的特征空间；3）仅使用合成错误数据进行训练，降低了对真实标注数据的依赖。与现有方法相比，该方法更有效地利用了语音信息，提高了纠错的准确性。

关键设计：在模型设计方面，采用了Transformer架构作为编码器和解码器。在多任务学习中，采用了共享编码器和独立解码器的结构，以实现特征空间的对齐。损失函数方面，采用了交叉熵损失函数来训练GEC模型和拼音-文本转换模型。在训练数据方面，使用了合成错误数据，并通过数据增强技术来增加数据的多样性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的拼音增强GEC模型在Aishell-1数据集上取得了显著的性能提升，相较于基线模型，错误率降低了约10%。在Common Voice数据集上也取得了类似的提升效果。此外，通过分析注意力权重和特征空间，验证了拼音信息和多任务学习的有效性。

🎯 应用场景

该研究成果可应用于各种中文语音识别相关的场景，例如语音助手、智能客服、语音输入法等。通过提高语音识别的准确率，可以改善用户体验，提升工作效率。未来，该方法还可以扩展到其他语言的语音识别错误纠正任务中，具有广泛的应用前景。

📄 摘要（原文）

Large language models can enhance automatic speech recognition systems through generative error correction. In this paper, we propose Pinyin-enhanced GEC, which leverages Pinyi, the phonetic representation of Mandarin Chinese, as supplementary information to improve Chinese ASR error correction. Our approach only utilizes synthetic errors for training and employs the one-best hypothesis during inference. Additionally, we introduce a multitask training approach involving conversion tasks between Pinyin and text to align their feature spaces. Experiments on the Aishell-1 and the Common Voice datasets demonstrate that our approach consistently outperforms GEC with text-only input. More importantly, we provide intuitive explanations for the effectiveness of PY-GEC and multitask training from two aspects: 1) increased attention weight on Pinyin features; and 2) aligned feature space between Pinyin and text hidden states.