Competitive Audio-Language Models with Data-Efficient Single-Stage Training on Public Data

📄 arXiv: 2509.07526v1 📥 PDF

作者: Gokul Karthik Kumar, Rishabh Saraf, Ludovick Lepauloux, Abdul Muneer, Billel Mokeddem, Hakim Hacid

分类: cs.SD, cs.AI, cs.CL, cs.LG

发布日期: 2025-09-09

备注: Accepted at ASRU 2025

💡 一句话要点

Falcon3-Audio：高效单阶段训练的音频语言模型，在公开数据上实现卓越性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频语言模型 单阶段训练 数据高效 公开数据 多模态学习

📋 核心要点

  1. 现有音频语言模型通常需要大量训练数据和复杂的训练流程，限制了其可扩展性和易用性。
  2. Falcon3-Audio通过高效的单阶段训练，利用少量公开数据，构建了高性能的音频语言模型。
  3. 实验表明，Falcon3-Audio在MMAU基准测试中取得了领先的性能，同时保持了数据和参数的高效性。

📝 摘要（中文）

大型语言模型（LLMs）已经变革了自然语言处理（NLP）领域，但它们与音频的集成仍然有待探索，尽管音频在人类交流中至关重要。我们推出了Falcon3-Audio，这是一个基于指令微调的LLMs和Whisper编码器的音频语言模型（ALMs）系列。Falcon3-Audio仅使用极少量（小于30K小时，5K唯一）的公开音频数据，就在MMAU基准测试中达到了开放权重模型中的最佳性能，得分为64.14，与R1-AQA相当。同时，它在数据和参数效率、单阶段训练和透明度方面表现出色。值得注意的是，我们最小的1B模型仍然可以与参数范围从2B到13B的更大的开放模型竞争。通过广泛的消融实验，我们发现，即使与在超过500K小时数据上训练的模型相比，也不需要常见的复杂性，如课程学习、多个音频编码器和复杂的交叉注意力连接器，也能获得强大的性能。

🔬 方法详解

问题定义：现有音频语言模型训练通常依赖于大量标注数据和复杂的训练策略，例如课程学习和多阶段训练。这些方法不仅计算成本高昂，而且难以复现和扩展。此外，许多模型依赖于私有数据集，限制了研究的透明性和可访问性。

核心思路：Falcon3-Audio的核心思路是利用高质量的预训练语言模型和高效的单阶段训练方法，在少量公开数据上训练出具有竞争力的音频语言模型。通过简化训练流程和减少数据需求，提高模型的可训练性和可复现性。

技术框架：Falcon3-Audio的技术框架主要包括三个部分：预训练的语言模型（LLM）、音频编码器（Whisper）和连接模块。首先，使用Whisper编码器将音频转换为特征表示。然后，通过连接模块将音频特征融入到LLM中。最后，使用单阶段训练方法对整个模型进行微调，使其能够理解和生成与音频相关的文本。

关键创新：Falcon3-Audio的关键创新在于其高效的单阶段训练方法和对数据效率的关注。通过简化训练流程，避免了复杂的课程学习和多阶段训练，降低了计算成本。此外，该模型仅使用少量公开数据，就取得了与更大模型相当的性能，证明了其数据效率的优势。

关键设计：Falcon3-Audio使用了预训练的Falcon系列语言模型作为基础LLM，并采用Whisper作为音频编码器。连接模块的设计相对简单，避免了复杂的交叉注意力机制。损失函数主要包括语言模型损失和音频相关的任务损失。模型大小包括1B和7B两种版本，以适应不同的计算资源。

📊 实验亮点

Falcon3-Audio-7B在MMAU基准测试中取得了64.14的得分，与R1-AQA模型相当，并在开放权重模型中达到了最佳性能。更重要的是，该模型仅使用了不到30K小时的公开音频数据进行训练，远低于其他模型所需的500K小时以上的数据量。此外，即使是最小的1B模型，也能够与参数量在2B到13B之间的其他开放模型竞争。

🎯 应用场景

Falcon3-Audio具有广泛的应用前景，包括语音助手、自动语音翻译、音频内容分析和生成等。该模型可以用于开发更智能、更高效的语音交互系统，并促进音频内容的可访问性和理解。此外，其高效的训练方法和对公开数据的依赖，使其更易于部署和应用。

📄 摘要（原文）

Large language models (LLMs) have transformed NLP, yet their integration with audio remains underexplored -- despite audio's centrality to human communication. We introduce Falcon3-Audio, a family of Audio-Language Models (ALMs) built on instruction-tuned LLMs and Whisper encoders. Using a remarkably small amount of public audio data -- less than 30K hours (5K unique) -- Falcon3-Audio-7B matches the best reported performance among open-weight models on the MMAU benchmark, with a score of 64.14, matching R1-AQA, while distinguishing itself through superior data and parameter efficiency, single-stage training, and transparency. Notably, our smallest 1B model remains competitive with larger open models ranging from 2B to 13B parameters. Through extensive ablations, we find that common complexities -- such as curriculum learning, multiple audio encoders, and intricate cross-attention connectors -- are not required for strong performance, even compared to models trained on over 500K hours of data.