LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT

📄 arXiv: 2310.04673v4 📥 PDF

作者: Zhihao Du, Jiaming Wang, Qian Chen, Yunfei Chu, Zhifu Gao, Zerui Li, Kai Hu, Xiaohuan Zhou, Jin Xu, Ziyang Ma, Wen Wang, Siqi Zheng, Chang Zhou, Zhijie Yan, Shiliang Zhang

分类: cs.SD, cs.AI, cs.LG, cs.MM, eess.AS

发布日期: 2023-10-07 (更新: 2024-07-03)

备注: 10 pages, work in progress

💡 一句话要点

提出LauraGPT以解决音频识别与生成的多模态挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频识别 多模态学习 生成模型 语音合成 自然语言处理

📋 核心要点

  1. 现有音频与文本LLMs在处理多模态任务时，使用离散音频标记导致性能下降，特别是在自动语音识别等任务上。
  2. LauraGPT通过结合连续和离散特征，采用新颖的数据表示方法，能够有效处理音频和文本输入，生成多模态输出。
  3. 实验结果显示，LauraGPT在自动语音识别、语音到文本翻译等多项任务上，表现出与强基线相当或更优的性能。

📝 摘要（中文）

生成预训练变换器（GPT）模型在多种自然语言处理任务中表现出色，并在音频与文本的大型语言模型（LLMs）中展现出巨大潜力。现有主流音频与文本LLMs使用离散音频标记表示输入和输出音频，但在自动语音识别、语音到文本翻译和语音增强等任务中表现不佳。本文提出了LauraGPT，这是一种统一的基于GPT的音频与文本LLM，能够处理音频和文本输入，并生成任意模态的输出。LauraGPT采用了一种新颖的数据表示方法，将连续和离散特征结合，使用音频编码器将输入音频编码为连续表示，并从离散编解码器代码生成输出音频。通过监督多任务学习对LauraGPT进行微调，实验结果表明其在多项音频任务上表现优于强基线。

🔬 方法详解

问题定义：本文旨在解决现有音频与文本LLMs在多模态任务中因使用离散音频标记而导致的性能下降问题，特别是在自动语音识别和语音增强等领域的挑战。

核心思路：LauraGPT的核心思路是结合连续和离散特征，通过音频编码器将输入音频转换为连续表示，并利用离散编解码器生成输出音频，以提高模型的表现和适应性。

技术框架：LauraGPT的整体架构包括音频编码器、离散编解码器和一个一体化的多任务学习框架，能够同时处理音频和文本输入，并生成相应的输出。

关键创新：LauraGPT的关键创新在于提出了一种新型的数据表示方法，结合了连续和离散特征，并设计了一种一体化的编解码器，克服了多模态分布带来的预测挑战。

关键设计：在模型设计中，采用了监督多任务学习的策略，优化了损失函数和网络结构，以确保在多个音频任务上实现最佳性能。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，LauraGPT在自动语音识别、语音到文本翻译、文本到语音合成等任务上，均表现出与强基线相当或更优的性能，尤其在语音情感识别和自动音频标注任务中，提升幅度达到10%以上，显示出其在音频信号分析方面的强大能力。

🎯 应用场景

LauraGPT的研究成果具有广泛的应用潜力，能够在自动语音识别、语音翻译、语音合成等多个领域提供高效的解决方案。其多模态处理能力使其在智能助手、客服系统和教育技术等场景中具有重要的实际价值，未来可能推动相关技术的进一步发展与应用。

📄 摘要（原文）

Generative Pre-trained Transformer (GPT) models have achieved remarkable performance on various natural language processing tasks, and have shown great potential as backbones for audio-and-text large language models (LLMs). Previous mainstream audio-and-text LLMs use discrete audio tokens to represent both input and output audio; however, they suffer from performance degradation on tasks such as automatic speech recognition, speech-to-text translation, and speech enhancement over models using continuous speech features. In this paper, we propose LauraGPT, a novel unified audio-and-text GPT-based LLM for audio recognition, understanding, and generation. LauraGPT is a versatile LLM that can process both audio and text inputs and generate outputs in either modalities. We propose a novel data representation that combines continuous and discrete features for audio: LauraGPT encodes input audio into continuous representations using an audio encoder and generates output audio from discrete codec codes. We propose a one-step codec vocoder to overcome the prediction challenge caused by the multimodal distribution of codec tokens. We fine-tune LauraGPT using supervised multi-task learning. Extensive experiments show that LauraGPT consistently achieves comparable to superior performance compared to strong baselines on a wide range of audio tasks related to content, semantics, paralinguistics, and audio-signal analysis, such as automatic speech recognition, speech-to-text translation, text-to-speech synthesis, speech enhancement, automated audio captioning, speech emotion recognition, and spoken language understanding.