DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data

📄 arXiv: 2409.20007v2 📥 PDF

作者: Ke-Han Lu, Zhehuai Chen, Szu-Wei Fu, Chao-Han Huck Yang, Jagadeesh Balam, Boris Ginsburg, Yu-Chiang Frank Wang, Hung-yi Lee

分类: eess.AS, cs.CL, cs.SD

发布日期: 2024-09-30 (更新: 2025-01-27)

备注: Accepted by ICASSP 2025

DOI: 10.1109/ICASSP49660.2025.10889444

💡 一句话要点

DeSTA2：无需语音指令微调数据，开发指令跟随语音语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语音语言模型 指令跟随 自动数据生成 副语言信息 无监督学习

📋 核心要点

  1. 现有的端到端语音语言模型依赖大量的语音指令微调，以弥合语音和文本模态之间的差距，这需要大量的标注工作。
  2. 本文提出了一种自动生成语音-文本对数据的方法，该方法能够将语音副语言理解能力注入到SLM中，同时保留LLM的语言能力。
  3. 实验表明，该模型在Dynamic-SUPERB和AIR-Bench-Chat等基准测试中表现出色，且能够遵循复杂的指令，无需语音指令微调数据。

📝 摘要（中文）

本文提出了一种简单而有效的自动流程，用于创建语音-文本对数据，该流程能够谨慎地将语音副语言理解能力注入到语音语言模型（SLM）中，同时保留基于文本的大型语言模型（LLM）固有的语言能力。我们的模型展示了在语音相关任务上的通用能力，无需语音指令微调数据，并在Dynamic-SUPERB和AIR-Bench-Chat基准测试中取得了令人印象深刻的性能。此外，我们的模型还展现了遵循来自LLM的复杂指令的能力，例如特定的输出格式和思维链推理。我们的方法不仅增强了SLM的多功能性和有效性，还减少了对大量标注数据集的依赖，为更高效和更强大的语音理解系统铺平了道路。

🔬 方法详解

问题定义：现有端到端语音语言模型（SLM）为了融合语音和文本模态，通常需要大量的语音指令微调数据。这种微调不仅需要耗费大量的人工标注成本，而且容易导致模型遗忘原始语言能力，即灾难性遗忘。因此，如何高效地将语音理解能力注入SLM，同时保持其原有的语言能力，是一个亟待解决的问题。

核心思路：本文的核心思路是设计一种自动化的数据生成流程，该流程能够创建高质量的语音-文本对数据，用于训练SLM。这种数据生成方式的关键在于，它能够谨慎地将语音副语言信息（例如情感、语调等）融入到文本指令中，从而使SLM能够学习理解和利用这些信息，而无需人工标注的语音指令数据。

技术框架：DeSTA2 的整体框架包含以下几个主要模块：1) 预训练的语音模型：用于提取语音特征。2) 大型语言模型（LLM）：用于生成文本指令和输出格式。3) 自动数据生成模块：将语音特征和LLM生成的文本指令结合，创建语音-文本对数据。4) SLM训练模块：使用生成的数据对SLM进行训练，使其具备语音理解和指令跟随能力。

关键创新：该方法最重要的创新点在于其自动化的数据生成流程，该流程能够有效地将语音副语言信息注入到SLM中，而无需人工标注的语音指令数据。与传统的语音指令微调方法相比，DeSTA2 避免了大量的人工标注成本，并降低了灾难性遗忘的风险。此外，该方法还能够利用LLM的强大生成能力，生成多样化的文本指令，从而提高SLM的泛化能力。

关键设计：在数据生成过程中，关键的设计包括：1) 如何选择合适的语音特征，以捕捉语音中的副语言信息。2) 如何设计文本指令，以引导SLM学习理解和利用这些信息。3) 如何平衡语音理解能力和语言能力，避免灾难性遗忘。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

DeSTA2 在 Dynamic-SUPERB 和 AIR-Bench-Chat 基准测试中取得了令人印象深刻的性能，证明了其在语音相关任务上的通用能力。该模型无需语音指令微调数据，即可实现与经过大量人工标注数据训练的模型相媲美的性能，显著降低了训练成本。此外，DeSTA2 还展现了遵循来自 LLM 的复杂指令的能力，例如特定的输出格式和思维链推理。

🎯 应用场景

该研究成果可广泛应用于语音助手、智能客服、语音翻译等领域。通过提升语音语言模型的语音理解能力和指令跟随能力，可以实现更自然、更智能的人机交互。此外，该方法还可以降低语音数据标注的成本，促进语音技术在资源匮乏场景下的应用。未来，该技术有望应用于更复杂的语音任务，例如情感识别、语音内容理解等。

📄 摘要（原文）

Recent end-to-end speech language models (SLMs) have expanded upon the capabilities of large language models (LLMs) by incorporating pre-trained speech models. However, these SLMs often undergo extensive speech instruction-tuning to bridge the gap between speech and text modalities. This requires significant annotation efforts and risks catastrophic forgetting of the original language capabilities. In this work, we present a simple yet effective automatic process for creating speech-text pair data that carefully injects speech paralinguistic understanding abilities into SLMs while preserving the inherent language capabilities of the text-based LLM. Our model demonstrates general capabilities for speech-related tasks without the need for speech instruction-tuning data, achieving impressive performance on Dynamic-SUPERB and AIR-Bench-Chat benchmarks. Furthermore, our model exhibits the ability to follow complex instructions derived from LLMs, such as specific output formatting and chain-of-thought reasoning. Our approach not only enhances the versatility and effectiveness of SLMs but also reduces reliance on extensive annotated datasets, paving the way for more efficient and capable speech understanding systems.