Tuning Large language model for End-to-end Speech Translation

📄 arXiv: 2310.02050v1 📥 PDF

作者: Hao Zhang, Nianwen Si, Yaqi Chen, Wenlin Zhang, Xukui Yang, Dan Qu, Xiaolin Jiao

分类: cs.CL, cs.CV

发布日期: 2023-10-03

💡 一句话要点

提出LST模型以解决端到端语音翻译问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 端到端语音翻译 多模态模型 大型语言模型 模态调整 BLEU分数 跨语言翻译 深度学习

📋 核心要点

  1. 现有的多模态模型在处理复杂的端到端语音翻译任务时表现不佳，尤其是在跨语言和跨模态的场景中。
  2. 本文提出的LST模型通过语音前端、适配器和LLM后端的组合，优化了语音表示与文本嵌入空间的对齐。
  3. 在MuST-C基准测试中，LST-13B在多个语言对上取得了BLEU分数的显著提升，确立了新的技术领先地位。

📝 摘要（中文）

随着大型语言模型（LLMs）的出现，基于LLMs的多模态模型展现出显著潜力。然而，在复杂任务如端到端语音翻译（E2E-ST）中，这些模型的表现往往不尽如人意。本文提出了LST，一个旨在优化E2E-ST任务的大型多模态模型。LST由语音前端、适配器和LLM后端组成，训练分为两个阶段：模态调整和下游任务微调。实验结果表明，LST-13B在MuST-C语音翻译基准上取得了新的最佳BLEU分数，超越了先前模型，并为未来研究奠定了基础。

🔬 方法详解

问题定义：本文旨在解决现有多模态模型在端到端语音翻译任务中的性能不足，尤其是在复杂的跨语言和跨模态翻译场景中，现有模型往往无法有效处理语音与文本之间的转换。

核心思路：LST模型通过引入适配器来调整模态，使得语音表示能够与文本嵌入空间对齐，从而提升模型在E2E-ST任务中的表现。

技术框架：LST的整体架构包括三个主要模块：语音前端负责处理输入的语音信号，适配器用于模态调整，LLM后端则负责生成翻译结果。训练过程分为两个阶段：模态调整和下游任务微调。

关键创新：LST模型的创新在于其双阶段训练策略，特别是适配器的引入，使得语音与文本的表示能够更好地融合，从而显著提升了翻译质量。

关键设计：在训练过程中，适配器的参数设置和损失函数设计至关重要，确保了语音表示与文本嵌入的有效对齐，同时LLM后端的结构也经过优化，以适应多模态输入。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MuST-C语音翻译基准测试中，LST-13B在英语-德语、英语-法语和英语-西班牙语语言对上分别取得了BLEU分数30.39、41.55和35.33，超越了之前的最佳模型，确立了新的技术领先地位。

🎯 应用场景

该研究的潜在应用领域包括实时语音翻译、跨语言交流工具以及多模态人机交互系统。LST模型的成功将推动语音翻译技术的发展，提升用户体验，促进全球化交流。

📄 摘要（原文）

With the emergence of large language models (LLMs), multimodal models based on LLMs have demonstrated significant potential. Models such as LLaSM, X-LLM, and SpeechGPT exhibit an impressive ability to comprehend and generate human instructions. However, their performance often falters when faced with complex tasks like end-to-end speech translation (E2E-ST), a cross-language and cross-modal translation task. In comparison to single-modal models, multimodal models lag behind in these scenarios. This paper introduces LST, a Large multimodal model designed to excel at the E2E-ST task. LST consists of a speech frontend, an adapter, and a LLM backend. The training of LST consists of two stages: (1) Modality adjustment, where the adapter is tuned to align speech representation with text embedding space, and (2) Downstream task fine-tuning, where both the adapter and LLM model are trained to optimize performance on the E2EST task. Experimental results on the MuST-C speech translation benchmark demonstrate that LST-13B achieves BLEU scores of 30.39/41.55/35.33 on En-De/En-Fr/En-Es language pairs, surpassing previous models and establishing a new state-of-the-art. Additionally, we conduct an in-depth analysis of single-modal model selection and the impact of training strategies, which lays the foundation for future research. We will open up our code and models after review.