Probing Audio-Generation Capabilities of Text-Based Language Models

📄 arXiv: 2506.00003v1 📥 PDF

作者: Arjun Prasaath Anbazhagan, Parteek Kumar, Ujjwal Kaur, Aslihan Akalin, Kevin Zhu, Sean O'Brien

分类: cs.SD, cs.CL, eess.AS

发布日期: 2025-05-04

备注: Accepted at Conference of the North American Chapter of the Association for Computational Linguistics 2025, Student Research Workshop (NAACL SRW)

💡 一句话要点

探索文本语言模型音频生成能力：一种基于代码中间层的三层递进方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音频生成 大型语言模型 代码生成 文本到音频 多模态学习

📋 核心要点

  1. 现有文本语言模型在音频生成方面能力有限，难以直接将文本信息转化为高质量、多样化的音频。
  2. 论文提出一种基于代码中间层的音频生成方法，通过提示LLM生成可执行代码来间接控制音频输出。
  3. 实验表明，LLM能够生成基本音频，但随着音频复杂性增加，性能显著下降，表明其音频理解能力仍有提升空间。

📝 摘要（中文）

本研究旨在探究基于文本的大型语言模型（LLM）在多大程度上能够生成音频，尽管它们主要接受文本数据训练。我们采用了一种三层递进的方法，逐步增加音频生成的复杂性：1）音符，2）环境声音，3）人类语音。为了弥合文本和音频之间的差距，我们利用代码作为中间媒介，提示LLM生成代码，执行这些代码即可产生所需的音频输出。为了评估生成音频的质量和准确性，我们采用了FAD和CLAP评分。研究结果表明，虽然LLM可以生成基本的音频特征，但随着音频复杂性的增加，其性能会下降。这表明，虽然LLM对听觉世界具有潜在的理解，但将这种理解转化为实际音频输出的能力仍然是初步的。进一步研究可以提高LLM生成音频的质量和多样性的技术，从而提高基于文本的LLM在生成音频方面的性能。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在仅接受文本训练的情况下，生成音频的能力。现有方法直接生成音频效果不佳，缺乏对音频细节的精确控制，难以生成复杂和高质量的音频内容。

核心思路：论文的核心思路是利用代码作为文本和音频之间的桥梁。LLM更擅长生成代码，而代码可以精确控制音频的生成过程。通过提示LLM生成能够产生特定音频的代码，间接实现音频生成。这种方法将复杂的音频生成任务分解为LLM更擅长的代码生成任务，降低了任务难度。

技术框架：整体框架包含三个阶段：1）文本提示：设计合适的文本提示，引导LLM生成特定类型的音频代码。2）代码生成：利用LLM生成能够产生目标音频的代码，例如Python代码配合相关音频库。3）音频合成：执行生成的代码，合成最终的音频输出。研究中使用了三种不同复杂度的音频类型：音符、环境声音和人类语音。

关键创新：关键创新在于将代码作为LLM生成音频的中间表示。这种方法避免了直接从文本生成音频的困难，利用了LLM在代码生成方面的优势。通过控制生成的代码，可以更精确地控制音频的各种参数，例如音高、音量、时长等。

关键设计：论文使用了FAD（Fréchet Audio Distance）和CLAP（Contrastive Language-Audio Pre-training）评分来评估生成音频的质量和准确性。FAD衡量生成音频和真实音频之间的分布差异，CLAP衡量生成音频和对应文本描述之间的一致性。实验中，研究人员设计了不同的文本提示，并调整了LLM的参数，以优化代码生成的效果。具体使用的LLM模型和代码库信息未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM能够生成基本的音符和简单的环境声音，但在生成复杂的人类语音时表现较差。FAD和CLAP评分显示，随着音频复杂度的增加，生成音频的质量和与文本描述的一致性显著下降。这表明LLM在音频理解和生成方面仍有很大的提升空间。

🎯 应用场景

该研究成果可应用于文本驱动的音频内容创作、辅助音乐生成、环境音效设计等领域。通过改进LLM的音频生成能力，可以实现更智能、更便捷的音频内容生产流程，降低音频创作门槛，并为虚拟现实、游戏开发等领域提供更丰富的音频资源。

📄 摘要（原文）

How does textual representation of audio relate to the Large Language Model's (LLMs) learning about the audio world? This research investigates the extent to which LLMs can be prompted to generate audio, despite their primary training in textual data. We employ a three-tier approach, progressively increasing the complexity of audio generation: 1) Musical Notes, 2) Environmental Sounds, and 3) Human Speech. To bridge the gap between text and audio, we leverage code as an intermediary, prompting LLMs to generate code that, when executed, produces the desired audio output. To evaluate the quality and accuracy of the generated audio, we employ FAD and CLAP scores. Our findings reveal that while LLMs can generate basic audio features, their performance deteriorates as the complexity of the audio increases. This suggests that while LLMs possess a latent understanding of the auditory world, their ability to translate this understanding into tangible audio output remains rudimentary. Further research into techniques that can enhance the quality and diversity of LLM-generated audio can lead to an improvement in the performance of text-based LLMs in generating audio.