How to Connect Speech Foundation Models and Large Language Models? What Matters and What Does Not

📄 arXiv: 2409.17044v3 📥 PDF

作者: Francesco Verdini, Pierfrancesco Melucci, Stefano Perna, Francesco Cariaggi, Marco Gaido, Sara Papi, Szymon Mazurek, Marek Kasztelnik, Luisa Bentivogli, Sébastien Bratières, Paolo Merialdo, Simone Scardapane

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-09-25 (更新: 2025-06-03)

备注: Submitted to Interspeech 2025

💡 一句话要点

研究语音基础模型与大语言模型连接方式，分析各组件对语音转录任务的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音转文本 语音基础模型 大语言模型 适配器 自动语音识别

📋 核心要点

  1. 现有语音转文本方法依赖适配器将语音基础模型与大语言模型连接，但各组件的影响尚不明确。
  2. 论文通过实验分析不同语音基础模型、适配器和大语言模型的组合，评估其对下游任务性能的影响。
  3. 实验结果表明，语音基础模型对下游性能至关重要，适配器的选择影响较小，且依赖于所选模型。

📝 摘要（中文）

大型语言模型（LLM）的卓越性能推动了研究工作，旨在将其应用于各种任务和输入模态。在语音转文本（S2T）任务中，一种新兴的解决方案是将语音基础模型（SFM）编码器的输出通过一个适配器模块投影到LLM的嵌入空间中。然而，目前还没有研究调查下游任务的性能在多大程度上依赖于每个组件（SFM、适配器、LLM），也没有研究适配器的最佳设计是否取决于所选择的SFM和LLM。为了填补这一空白，我们在两个广泛使用的S2T任务（即自动语音识别和语音翻译）上评估了5个适配器模块、2个LLM（Mistral和Llama）和2个SFM（Whisper和SeamlessM4T）的组合。结果表明，SFM在下游性能中起着关键作用，而适配器的选择影响较小，并且取决于SFM和LLM。

🔬 方法详解

问题定义：论文旨在解决语音转文本（S2T）任务中，如何有效连接语音基础模型（SFM）和大语言模型（LLM）的问题。现有方法主要依赖适配器模块，但缺乏对SFM、适配器和LLM各组件贡献的深入分析，以及适配器设计与所选SFM和LLM之间关系的探究。这导致难以选择最佳的组件组合，从而影响S2T任务的性能。

核心思路：论文的核心思路是通过大量的实验，系统性地评估不同SFM、适配器和LLM的组合在S2T任务上的性能表现。通过控制变量，分析每个组件对最终性能的影响程度，以及适配器设计与SFM和LLM之间的依赖关系。从而为选择合适的组件组合和设计有效的适配器提供指导。

技术框架：论文的整体框架包括三个主要部分：语音基础模型（SFM）、适配器模块和大语言模型（LLM）。首先，使用SFM（如Whisper或SeamlessM4T）提取语音特征。然后，通过适配器模块将SFM的输出投影到LLM的嵌入空间。最后，利用LLM进行文本生成或翻译。实验中，作者评估了5种不同的适配器模块，以及2种LLM（Mistral和Llama）。

关键创新：论文的关键创新在于系统性地分析了SFM、适配器和LLM三个组件对S2T任务性能的影响。之前的研究通常只关注适配器的设计，而忽略了SFM和LLM的选择对最终性能的影响。该研究揭示了SFM在下游性能中起着关键作用，而适配器的选择影响较小，并且取决于SFM和LLM。

关键设计：实验中使用了5种不同的适配器模块，具体细节未知。使用了两个开源LLM：Mistral和Llama。评估指标包括自动语音识别（ASR）的词错误率（WER）和语音翻译（ST）的BLEU得分。具体参数设置和损失函数未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，语音基础模型（SFM）对下游性能起着关键作用。适配器的选择对性能的影响相对较小，并且适配器的最佳选择取决于所使用的SFM和LLM。具体性能数据未知，但研究强调了SFM的重要性，为未来的研究提供了重要指导。

🎯 应用场景

该研究成果可应用于各种语音处理领域，如语音助手、自动翻译、语音搜索等。通过选择合适的语音基础模型、适配器和大语言模型，可以显著提升语音转文本任务的性能，从而改善用户体验，提高工作效率。未来的研究可以进一步探索更有效的适配器设计，以及如何针对不同的语音特征和语言特性选择最佳的组件组合。

📄 摘要（原文）

The remarkable performance achieved by Large Language Models (LLM) has driven research efforts to leverage them for a wide range of tasks and input modalities. In speech-to-text (S2T) tasks, the emerging solution consists of projecting the output of the encoder of a Speech Foundational Model (SFM) into the LLM embedding space through an adapter module. However, no work has yet investigated how much the downstream-task performance depends on each component (SFM, adapter, LLM) nor whether the best design of the adapter depends on the chosen SFM and LLM. To fill this gap, we evaluate the combination of 5 adapter modules, 2 LLMs (Mistral and Llama), and 2 SFMs (Whisper and SeamlessM4T) on two widespread S2T tasks, namely Automatic Speech Recognition and Speech Translation. Our results demonstrate that the SFM plays a pivotal role in downstream performance, while the adapter choice has moderate impact and depends on the SFM and LLM.