Long-Form Text-to-Music Generation with Adaptive Prompts: A Case Study in Tabletop Role-Playing Games Soundtracks

📄 arXiv: 2411.03948v3 📥 PDF

作者: Felipe Marra, Lucas N. Ferreira

分类: cs.SD, cs.AI, cs.MM, cs.NE, eess.AS

发布日期: 2024-11-06 (更新: 2025-05-21)

备注: Proceedings of the 1st Latin American Music Information Retrieval Workshop (LAMIR), pg 80

DOI: 10.5281/zenodo.14908040.svg

💡 一句话要点

提出Babel Bardo系统，利用自适应提示生成长时序、高质量的TRPG游戏配乐。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到音乐生成 长时序音乐 自适应提示 大型语言模型 桌面角色扮演游戏 TRPG配乐 音乐生成

📋 核心要点

  1. 现有文本到音乐模型在长时序音乐生成中面临挑战，尤其是在保持故事连贯性和平滑过渡方面。
  2. Babel Bardo系统利用LLM将语音转录转化为详细的音乐描述，作为文本到音乐模型的自适应提示。
  3. 实验表明，更详细的音乐描述能提升音频质量，而描述一致性则有助于故事对齐和过渡平滑。

📝 摘要（中文）

本文研究了文本到音频的音乐生成模型在生成长时序音乐方面的能力，重点关注为桌面角色扮演游戏（TRPGs）生成配乐。我们提出了Babel Bardo系统，该系统使用大型语言模型（LLMs）将语音转录转换为音乐描述，从而控制文本到音乐模型。在两个TRPG活动中比较了Babel Bardo的四个版本：一个使用直接语音转录的基线版本，以及三个基于LLM的版本，它们采用不同的音乐描述生成方法。评估考虑了音频质量、故事对齐和过渡平滑度。结果表明，详细的音乐描述可以提高音频质量，同时保持连续描述之间的一致性可以增强故事对齐和过渡平滑度。

🔬 方法详解

问题定义：论文旨在解决长时序文本到音乐生成任务，特别是在桌面角色扮演游戏（TRPGs）配乐生成场景下的问题。现有的文本到音乐模型在处理长文本输入时，难以保证生成音乐的连贯性、故事对齐以及平滑过渡，导致用户体验不佳。直接使用语音转录作为提示词，信息量不足，难以生成高质量的音乐。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的文本理解和生成能力，将语音转录转化为更详细、更具音乐性的描述，作为文本到音乐模型的提示。通过控制提示词的质量和连贯性，从而提升生成音乐的质量、故事对齐以及过渡平滑度。

技术框架：Babel Bardo系统的整体框架包括以下几个主要模块：1) 语音转录模块，将TRPG游戏中的语音对话转录为文本；2) LLM提示生成模块，将转录文本输入LLM，生成详细的音乐描述；3) 文本到音乐生成模块，使用生成的音乐描述作为提示，生成音频；4) 评估模块，对生成的音频进行质量、故事对齐和过渡平滑度等方面的评估。论文比较了四种不同的提示生成策略：直接转录（baseline）、基于LLM的不同描述生成方法。

关键创新：该论文的关键创新在于利用LLM作为自适应提示生成器，将语音转录转化为更适合文本到音乐模型的输入。通过控制LLM生成的音乐描述的详细程度和连贯性，实现了对生成音乐的更精细控制。这种方法能够更好地捕捉故事的上下文信息，从而生成更符合游戏场景的配乐。

关键设计：论文中LLM提示生成模块的关键设计在于如何设计LLM的prompt，以生成高质量的音乐描述。论文尝试了不同的prompt策略，包括提供更详细的上下文信息、指定音乐风格、情感等。此外，论文还关注了连续提示之间的一致性，以保证生成音乐的平滑过渡。具体参数设置和网络结构未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用LLM生成的详细音乐描述能够显著提高生成音频的质量。同时，保持连续音乐描述之间的一致性能够增强故事对齐和过渡平滑度。具体性能数据和提升幅度未在摘要中给出，属于未知信息。

🎯 应用场景

该研究成果可应用于游戏开发、电影制作、广告设计等领域，为这些场景提供自动化的配乐生成方案。通过将文本描述转化为高质量的音乐，可以降低配乐制作的成本和时间，并为创作者提供更多的灵感和选择。未来，该技术有望进一步发展，实现更加智能和个性化的音乐生成。

📄 摘要（原文）

This paper investigates the capabilities of text-to-audio music generation models in producing long-form music with prompts that change over time, focusing on soundtrack generation for Tabletop Role-Playing Games (TRPGs). We introduce Babel Bardo, a system that uses Large Language Models (LLMs) to transform speech transcriptions into music descriptions for controlling a text-to-music model. Four versions of Babel Bardo were compared in two TRPG campaigns: a baseline using direct speech transcriptions, and three LLM-based versions with varying approaches to music description generation. Evaluations considered audio quality, story alignment, and transition smoothness. Results indicate that detailed music descriptions improve audio quality while maintaining consistency across consecutive descriptions enhances story alignment and transition smoothness.