Practical and Reproducible Symbolic Music Generation by Large Language Models with Structural Embeddings

📄 arXiv: 2407.19900v1 📥 PDF

作者: Seungyeon Rhyu, Kichang Yang, Sungjun Cho, Jaehyeon Kim, Kyogu Lee, Moontae Lee

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-07-29

备注: 9 pages, 6 figures, 4 tables

💡 一句话要点

提出基于结构嵌入的大语言模型音乐生成框架，实现可复现的MIDI音乐生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音乐生成 大语言模型 结构嵌入 MIDI数据 Transformer

📋 核心要点

  1. 现有音乐生成模型依赖于特定领域的标注信息，如小节和节拍，限制了其在原始MIDI数据上的应用。
  2. 该论文提出了一种基于结构嵌入的音乐生成框架，无需领域特定标注，提升了模型在原始MIDI数据上的适用性。
  3. 实验验证了该框架在音乐生成方面的有效性，并开源了代码，促进了可复现的音乐生成研究。

📝 摘要（中文）

音乐生成为大语言模型带来了挑战性的复杂性。音乐的符号结构通常包含垂直的和声以及水平的对位，这促使人们对大规模Transformer进行各种调整和增强。然而，现有的工作存在三个主要缺点：1) 它们的tokenization需要特定领域的注释，例如小节和节拍，而这些注释通常在原始MIDI数据中缺失；2) 在没有特定领域注释的情况下，很难检验增强token嵌入方法的纯粹影响；3) 现有的克服上述缺点的作品，如MuseNet，缺乏可重复性。为了解决这些限制，我们开发了一个受MuseNet启发的基于MIDI的音乐生成框架，实证研究了两种不依赖于特定领域注释的结构嵌入。我们提供了各种指标和见解，可以指导合适的编码部署。我们还验证了多种嵌入配置可以选择性地提升某些音乐方面。通过HuggingFace提供开源实现，我们的发现为利用大型语言模型实现实用且可重复的音乐生成提供了启示。

🔬 方法详解

问题定义：现有基于大语言模型的音乐生成方法通常依赖于特定领域的标注信息，例如小节和节拍，这使得它们难以直接应用于未经标注的原始MIDI数据。此外，现有方法在评估token嵌入方法的有效性时，也容易受到领域特定标注的影响。最后，一些现有的音乐生成模型，例如MuseNet，缺乏可复现性，阻碍了进一步的研究和应用。

核心思路：该论文的核心思路是设计一种不依赖于领域特定标注的结构嵌入方法，从而使得大语言模型能够直接处理原始MIDI数据并生成音乐。通过引入结构嵌入，模型可以学习到音乐的内在结构，例如音符之间的关系，而无需显式地提供小节和节拍等信息。

技术框架：该论文提出的音乐生成框架基于Transformer架构，并借鉴了MuseNet的设计。该框架主要包含以下几个模块：1) MIDI数据预处理模块，将原始MIDI数据转换为token序列；2) 结构嵌入模块，将token序列嵌入到高维空间中，并引入结构信息；3) Transformer解码器，根据嵌入后的token序列生成新的token序列，从而生成音乐。

关键创新：该论文的关键创新在于提出了两种不依赖于领域特定标注的结构嵌入方法。这些方法能够有效地将音乐的结构信息融入到token嵌入中，从而使得模型能够更好地理解和生成音乐。与现有方法相比，该方法更加通用，可以直接应用于未经标注的原始MIDI数据。

关键设计：论文中提出的结构嵌入方法包括：(1) 基于相对位置的嵌入，通过计算音符之间的相对位置关系来表示音乐的结构信息；(2) 基于音符属性的嵌入，通过将音符的音高、时长等属性信息编码到嵌入中来表示音乐的结构信息。此外，论文还研究了不同的嵌入配置对音乐生成效果的影响，并提供了各种指标和见解，以指导合适的编码部署。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文通过实验验证了所提出的结构嵌入方法在音乐生成方面的有效性。实验结果表明，不同的嵌入配置可以选择性地提升某些音乐方面，例如和声和节奏。此外，该论文还开源了代码，并提供了详细的实验设置和评估指标，使得其他研究者可以轻松地复现和扩展该研究成果。

🎯 应用场景

该研究成果可应用于自动作曲、音乐风格迁移、音乐教育等领域。通过该框架，用户可以利用大语言模型生成各种风格的音乐，无需具备专业的音乐知识。此外，该框架还可以用于音乐教育，帮助学生更好地理解音乐的结构和创作过程。未来，该研究可以进一步扩展到其他类型的音乐数据，例如音频数据，从而实现更加智能化的音乐生成。

📄 摘要（原文）

Music generation introduces challenging complexities to large language models. Symbolic structures of music often include vertical harmonization as well as horizontal counterpoint, urging various adaptations and enhancements for large-scale Transformers. However, existing works share three major drawbacks: 1) their tokenization requires domain-specific annotations, such as bars and beats, that are typically missing in raw MIDI data; 2) the pure impact of enhancing token embedding methods is hardly examined without domain-specific annotations; and 3) existing works to overcome the aforementioned drawbacks, such as MuseNet, lack reproducibility. To tackle such limitations, we develop a MIDI-based music generation framework inspired by MuseNet, empirically studying two structural embeddings that do not rely on domain-specific annotations. We provide various metrics and insights that can guide suitable encoding to deploy. We also verify that multiple embedding configurations can selectively boost certain musical aspects. By providing open-source implementations via HuggingFace, our findings shed light on leveraging large language models toward practical and reproducible music generation.