Parameter-efficient Adaptation of Multilingual Multimodal Models for Low-resource ASR

📄 arXiv: 2410.13445v1 📥 PDF

作者: Abhishek Gupta, Amruta Parulekar, Sameep Chattopadhyay, Preethi Jyothi

分类: cs.CL, cs.AI, cs.LG, eess.AS

发布日期: 2024-10-17

💡 一句话要点

结合参数高效微调与文本自适应，提升低资源ASR多语言多模态模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低资源ASR 参数高效微调 文本自适应 多语言模型 多模态学习

📋 核心要点

  1. 低资源语音识别面临标注数据匮乏的挑战，传统方法难以有效利用未标注数据。
  2. 论文提出结合参数高效微调和文本自适应，利用多模态模型SeamlessM4T提升低资源ASR性能。
  3. 实验表明，该方法在零样本跨语言迁移中，词错误率相对基线降低高达17%。

📝 摘要（中文）

由于标注训练数据的稀缺性，低资源语言的自动语音识别（ASR）仍然是一个挑战。参数高效微调和纯文本自适应是两种常用的解决低资源环境的方法。本文研究了如何使用像SeamlessM4T这样的多语言多模态模型有效地结合这些技术。多模态模型能够通过纯文本自适应来利用未标注的文本，并进一步进行参数高效的ASR微调，从而提高ASR性能。我们还展示了来自高资源语言的跨语言迁移，在没有任何标注语音的零样本设置下，相对于基线实现了高达17%的相对词错误率（WER）降低。

🔬 方法详解

问题定义：论文旨在解决低资源语言的自动语音识别（ASR）问题。现有方法在低资源场景下，由于缺乏足够的标注数据，模型性能受到严重限制。此外，如何有效利用大量的未标注文本数据也是一个挑战。

核心思路：论文的核心思路是结合参数高效微调和文本自适应，充分利用多语言多模态模型的能力。通过首先对模型进行纯文本自适应，使其学习到丰富的语言知识，然后再进行参数高效的ASR微调，从而在低资源场景下提升语音识别性能。

技术框架：整体框架包括以下几个阶段：1) 使用多语言多模态模型（如SeamlessM4T）作为基础模型；2) 利用大量的未标注文本数据进行文本自适应，提升模型对目标语言的理解能力；3) 在少量标注的语音数据上进行参数高效的ASR微调，使模型适应语音识别任务；4) 进行跨语言迁移，利用高资源语言的知识提升低资源语言的性能。

关键创新：论文的关键创新在于将参数高效微调和文本自适应相结合，并应用于多语言多模态模型。这种方法能够有效地利用未标注的文本数据，并在低资源场景下显著提升ASR性能。此外，论文还探索了跨语言迁移策略，进一步提高了模型的泛化能力。

关键设计：论文采用参数高效的微调方法，例如Adapter或LoRA，以减少训练参数量，避免过拟合。文本自适应可能采用Masked Language Modeling (MLM) 等预训练任务。损失函数通常包括语音识别的CTC损失或Attention损失，以及文本自适应的损失函数。具体的网络结构取决于所使用的多模态模型，例如SeamlessM4T。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在低资源ASR任务中取得了显著的性能提升。在零样本跨语言迁移设置下，相对于基线模型，词错误率（WER）降低了高达17%。这表明该方法能够有效地利用高资源语言的知识，提升低资源语言的语音识别性能。

🎯 应用场景

该研究成果可应用于低资源语言的语音助手、语音翻译、语音搜索等领域。通过利用未标注文本数据和跨语言迁移，可以有效降低对标注数据的依赖，加速低资源语言语音技术的发展和应用，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Automatic speech recognition (ASR) for low-resource languages remains a challenge due to the scarcity of labeled training data. Parameter-efficient fine-tuning and text-only adaptation are two popular methods that have been used to address such low-resource settings. In this work, we investigate how these techniques can be effectively combined using a multilingual multimodal model like SeamlessM4T. Multimodal models are able to leverage unlabeled text via text-only adaptation with further parameter-efficient ASR fine-tuning, thus boosting ASR performance. We also show cross-lingual transfer from a high-resource language, achieving up to a relative 17% WER reduction over a baseline in a zero-shot setting without any labeled speech.