Expressive Range Characterization of Open Text-to-Audio Models

📄 arXiv: 2510.27102v1 📥 PDF

作者: Jonathan Morse, Azadeh Naderi, Swen Gaudl, Mark Cartwright, Amy K. Hoover, Mark J. Nelson

分类: cs.SD, cs.AI, eess.AS

发布日期: 2025-10-31

备注: Accepted at the AAAI Conference on Artificial Intelligence and Interactive Digital Entertainment (AIIDE 2025)

DOI: 10.1609/aiide.v21i1.36813

💡 一句话要点

提出基于ERA的框架，用于评估开放文本到音频模型的表达范围。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文本到音频模型 表达范围分析 生成模型评估 声学特征 程序生成内容

📋 核心要点

  1. 现有的文本到音频模型缺乏对其生成音频表达范围的系统性评估方法，难以理解其能力边界。
  2. 该论文提出将表达范围分析（ERA）方法适配到文本到音频模型，量化评估模型在特定提示下的输出空间。
  3. 通过对ESC-50数据集提示的音频输出进行声学维度分析，验证了该框架的可行性，为后续研究奠定基础。

📝 摘要（中文）

文本到音频模型是一种生成模型，它根据给定的文本提示生成音频输出。虽然关卡生成器及其生成的功能内容（例如，可玩性）的属性在程序生成内容（PCG）中的讨论中占据主导地位，但能够引起玩家情感共鸣的游戏往往会将一系列创造性的多模态内容（例如，音乐、声音、视觉效果、叙事基调）结合在一起，并且多模态模型已经开始用于此目的的实验性用途。然而，目前尚不清楚此类模型究竟生成什么，以及具有何种程度的可变性和保真度：对于生成系统来说，音频是一个极其广泛的输出类别。在PCG社区中，表达范围分析（ERA）已被用作量化表征生成器输出空间的一种方式，特别是对于关卡生成器。本文将ERA应用于文本到音频模型，通过查看特定固定提示的输出的表达范围来使分析易于处理。通过使用从环境声音分类（ESC-50）数据集派生的几个标准化提示来提示模型来进行实验。沿着关键声学维度（例如，音高、响度和音色）分析生成的音频。更广泛地说，本文提供了一个基于ERA的生成音频模型探索性评估框架。

🔬 方法详解

问题定义：论文旨在解决文本到音频模型生成音频的表达范围难以量化评估的问题。现有方法缺乏对生成音频多样性和保真度的系统性分析，难以理解模型的能力边界，阻碍了其在程序生成内容（PCG）等领域的应用。

核心思路：论文的核心思路是将程序生成内容（PCG）领域中常用的表达范围分析（ERA）方法引入到文本到音频模型的评估中。通过固定文本提示，分析模型生成音频在关键声学维度上的分布，从而量化其表达范围。

技术框架：该论文提出的技术框架主要包含以下几个阶段： 1. 提示选择：选择一组标准化的文本提示，例如从ESC-50数据集中选取。 2. 音频生成：使用文本到音频模型，根据选定的文本提示生成音频。 3. 特征提取：提取生成音频的关键声学特征，例如音高、响度和音色。 4. 范围分析：分析提取的声学特征的分布范围，从而量化模型的表达范围。

关键创新：该论文的关键创新在于将ERA方法从PCG领域成功迁移到文本到音频模型的评估中。与传统的定性评估方法相比，ERA提供了一种量化的、可重复的评估框架，能够更客观地评估模型的表达能力。

关键设计：论文的关键设计包括： 1. 提示选择策略：选择具有代表性的文本提示，以覆盖模型可能生成的各种音频类型。 2. 声学特征选择：选择能够有效表征音频内容的关键声学特征，例如音高、响度和音色。 3. 范围量化方法：使用合适的统计指标来量化声学特征的分布范围，例如均值、方差、分位数等。

📊 实验亮点

论文通过对基于ESC-50数据集的文本提示生成的音频进行分析，展示了ERA框架在评估文本到音频模型表达范围方面的有效性。实验结果表明，该框架能够量化模型在音高、响度和音色等关键声学维度上的表达能力，为后续模型优化和应用提供了有价值的参考。

🎯 应用场景

该研究成果可应用于游戏开发、虚拟现实、电影制作等领域，帮助开发者更好地理解和利用文本到音频模型生成高质量的音频内容。通过量化评估模型的表达范围，可以指导模型训练和优化，提升生成音频的多样性和保真度，从而创造更具沉浸感和情感共鸣的体验。

📄 摘要（原文）

Text-to-audio models are a type of generative model that produces audio output in response to a given textual prompt. Although level generators and the properties of the functional content that they create (e.g., playability) dominate most discourse in procedurally generated content (PCG), games that emotionally resonate with players tend to weave together a range of creative and multimodal content (e.g., music, sounds, visuals, narrative tone), and multimodal models have begun seeing at least experimental use for this purpose. However, it remains unclear what exactly such models generate, and with what degree of variability and fidelity: audio is an extremely broad class of output for a generative system to target. Within the PCG community, expressive range analysis (ERA) has been used as a quantitative way to characterize generators' output space, especially for level generators. This paper adapts ERA to text-to-audio models, making the analysis tractable by looking at the expressive range of outputs for specific, fixed prompts. Experiments are conducted by prompting the models with several standardized prompts derived from the Environmental Sound Classification (ESC-50) dataset. The resulting audio is analyzed along key acoustic dimensions (e.g., pitch, loudness, and timbre). More broadly, this paper offers a framework for ERA-based exploratory evaluation of generative audio models.