Generative error correction for code-switching speech recognition using large language models

📄 arXiv: 2310.13013v1 📥 PDF

作者: Chen Chen, Yuchen Hu, Chao-Han Huck Yang, Hexin Liu, Sabato Marco Siniscalchi, Eng Siong Chng

分类: cs.CL, cs.AI, cs.SD, eess.AS

发布日期: 2023-10-17

备注: Submitted to ICASSP2024

💡 一句话要点

提出生成性错误修正方法以解决代码切换语音识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码切换 语音识别 大型语言模型 生成性错误修正 低资源语言 混合错误率 假设生成

📋 核心要点

  1. 核心问题：尽管ASR技术进步，代码切换语音识别仍面临语法复杂性和数据稀缺的挑战。
  2. 方法要点：提出利用大型语言模型和多ASR模型生成的假设列表进行生成性错误修正，以提高识别准确性。
  3. 实验或效果：实验结果显示，GER方法显著降低了混合错误率，提升了CS-ASR的识别准确性。

📝 摘要（中文）

代码切换（CS）语音是指在同一句话中混合使用两种或多种语言的现象。尽管自动语音识别（ASR）技术近年来取得了进展，但由于语法结构复杂和特定训练语料的稀缺，CS-ASR仍然是一项具有挑战性的任务。本文提出利用大型语言模型（LLMs）和ASR生成的假设列表来解决CS问题。具体而言，我们首先采用多个经过良好训练的ASR模型生成N-best假设，以增加假设集合中的多样性和信息量。接着，我们利用LLMs通过添加可训练的低秩适配器来学习假设到转录（H2T）的映射。这种生成性错误修正（GER）方法根据其专家语言知识和N-best假设直接预测准确的转录，从而实现了从传统语言模型重评分或错误修正技术的范式转变。实验结果表明，GER显著提高了CS-ASR的准确性，降低了混合错误率（MER）。此外，LLMs在H2T学习中表现出显著的数据效率，为低资源语言的CS-ASR数据稀缺问题提供了潜在解决方案。

🔬 方法详解

问题定义：本文旨在解决代码切换语音识别中的准确性问题，现有方法在处理复杂语法结构和数据稀缺方面存在不足。

核心思路：通过结合多个ASR模型生成多样化的假设，并利用大型语言模型进行假设到转录的映射学习，提出了一种新的生成性错误修正方法。

技术框架：整体流程包括首先使用多个ASR模型生成N-best假设，然后通过LLMs学习假设到转录的映射，最后输出准确的转录结果。

关键创新：该研究的主要创新在于引入生成性错误修正方法，直接从假设中生成准确转录，区别于传统的语言模型重评分或错误修正技术。

关键设计：在技术细节上，使用了可训练的低秩适配器来增强LLMs的学习能力，优化了假设生成和转录映射的过程。具体的损失函数和网络结构设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，生成性错误修正方法显著降低了混合错误率（MER），具体提升幅度未详细披露。与传统方法相比，LLMs在假设到转录学习中展现出更高的数据效率，显示出其在低资源语言处理中的潜力。

🎯 应用场景

该研究的潜在应用领域包括多语言环境下的语音识别系统，如国际会议、跨国企业的语音助手等。通过提高代码切换语音的识别准确性，可以显著提升用户体验，促进多语言交流的效率。未来，该方法也可能扩展到其他低资源语言的语音识别任务中，具有广泛的实际价值。

📄 摘要（原文）

Code-switching (CS) speech refers to the phenomenon of mixing two or more languages within the same sentence. Despite the recent advances in automatic speech recognition (ASR), CS-ASR is still a challenging task ought to the grammatical structure complexity of the phenomenon and the data scarcity of specific training corpus. In this work, we propose to leverage large language models (LLMs) and lists of hypotheses generated by an ASR to address the CS problem. Specifically, we first employ multiple well-trained ASR models for N-best hypotheses generation, with the aim of increasing the diverse and informative elements in the set of hypotheses. Next, we utilize the LLMs to learn the hypotheses-to-transcription (H2T) mapping by adding a trainable low-rank adapter. Such a generative error correction (GER) method directly predicts the accurate transcription according to its expert linguistic knowledge and N-best hypotheses, resulting in a paradigm shift from the traditional language model rescoring or error correction techniques. Experimental evidence demonstrates that GER significantly enhances CS-ASR accuracy, in terms of reduced mixed error rate (MER). Furthermore, LLMs show remarkable data efficiency for H2T learning, providing a potential solution to the data scarcity problem of CS-ASR in low-resource languages.