Composer Style-specific Symbolic Music Generation Using Vector Quantized Discrete Diffusion Models

📄 arXiv: 2310.14044v2 📥 PDF

作者: Jincheng Zhang, György Fazekas, Charalampos Saitis

分类: cs.SD, cs.AI, eess.AS

发布日期: 2023-10-21 (更新: 2024-09-03)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于向量量化的扩散模型生成特定作曲家风格的符号音乐

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 符号音乐生成 扩散模型 向量量化 变分自编码器 作曲家风格 生成模型 音乐创作

📋 核心要点

  1. 现有的扩散模型在生成离散符号音乐方面的应用尚不成熟，未能充分发挥其潜力。
  2. 本文提出结合VQ-VAE与离散扩散模型，通过索引序列生成特定作曲家风格的符号音乐。
  3. 实验结果显示，该模型在生成目标作曲家风格的符号音乐方面达到了72.36%的准确率，表现优异。

📝 摘要（中文）

随着去噪扩散概率模型（DDPM）的兴起，这些模型在图像和声音合成等连续数据生成任务中取得了良好的效果。然而，扩散模型在离散符号音乐生成中的应用尚未得到充分探索。本文提出将向量量化变分自编码器（VQ-VAE）与离散扩散模型相结合，以生成具有特定作曲家风格的符号音乐。训练后的VQ-VAE能够将符号音乐表示为与学习到的代码本中特定条目对应的索引序列，随后使用离散扩散模型对VQ-VAE的离散潜在空间进行建模。实验结果表明，该模型能够以72.36%的高准确率生成符合目标作曲家风格的符号音乐。

🔬 方法详解

问题定义：本文旨在解决现有扩散模型在离散符号音乐生成中的不足，特别是如何有效地表示和生成符号音乐。现有方法未能充分利用扩散模型的潜力，导致生成效果不佳。

核心思路：论文提出将向量量化变分自编码器（VQ-VAE）与离散扩散模型相结合，利用VQ-VAE对符号音乐进行编码，并通过扩散模型生成对应的索引序列，从而实现高质量的符号音乐生成。

技术框架：整体架构包括两个主要模块：首先，使用VQ-VAE将符号音乐编码为索引序列；其次，利用离散扩散模型在VQ-VAE的离散潜在空间中生成中间音乐序列，最后通过VQ-VAE的解码器将索引序列转换为符号音乐。

关键创新：本研究的核心创新在于将VQ-VAE与离散扩散模型结合，形成了一种新的生成框架，能够有效处理符号音乐的离散特性，与传统的生成方法相比，具有更高的生成质量和灵活性。

关键设计：在模型设计中，VQ-VAE的代码本大小和潜在空间的维度设置经过精心调整，以确保生成的音乐能够准确反映目标作曲家的风格。同时，损失函数的设计也考虑了生成音乐的多样性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的模型在生成符号音乐方面达到了72.36%的准确率，显著高于现有方法。这一结果表明，结合VQ-VAE与离散扩散模型的策略在符号音乐生成中具有良好的应用前景。

🎯 应用场景

该研究的潜在应用领域包括音乐创作、游戏音效生成以及个性化音乐推荐等。通过生成特定作曲家风格的符号音乐，能够为音乐创作提供新的灵感和工具，推动音乐生成技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Emerging Denoising Diffusion Probabilistic Models (DDPM) have become increasingly utilised because of promising results they have achieved in diverse generative tasks with continuous data, such as image and sound synthesis. Nonetheless, the success of diffusion models has not been fully extended to discrete symbolic music. We propose to combine a vector quantized variational autoencoder (VQ-VAE) and discrete diffusion models for the generation of symbolic music with desired composer styles. The trained VQ-VAE can represent symbolic music as a sequence of indexes that correspond to specific entries in a learned codebook. Subsequently, a discrete diffusion model is used to model the VQ-VAE's discrete latent space. The diffusion model is trained to generate intermediate music sequences consisting of codebook indexes, which are then decoded to symbolic music using the VQ-VAE's decoder. The evaluation results demonstrate our model can generate symbolic music with target composer styles that meet the given conditions with a high accuracy of 72.36%. Our code is available at https://github.com/jinchengzhanggg/VQVAE-Diffusion.