Mozart's Touch: A Lightweight Multi-modal Music Generation Framework Based on Pre-Trained Large Models

📄 arXiv: 2405.02801v3 📥 PDF

作者: Jiajun Li, Tianze Xu, Xuesong Chen, Xinrui Yao, Shuchang Liu

分类: cs.SD, cs.AI, eess.AS

发布日期: 2024-05-05 (更新: 2024-11-25)

备注: 10 pages, 2 figures, submitted to AIGC 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出 Mozart's Touch 框架，利用预训练大模型实现多模态音乐生成。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态音乐生成 大型语言模型 跨模态融合 AIGC LLM-Bridge

📋 核心要点

  1. 现有图像/视频到音乐合成模型难以捕捉视觉内容中的细微情感和氛围。
  2. Mozart's Touch 利用 LLM 理解多模态输入，生成对齐的音乐，无需训练或微调音乐生成模型。
  3. 实验结果表明，Mozart's Touch 在多模态音乐生成任务上优于当前最先进的模型。

📝 摘要（中文）

近年来，AI生成内容（AIGC）发展迅速，促进了音乐、图像和其他艺术形式的创作。然而，目前图像和视频到音乐合成的模型难以捕捉视觉内容所传达的细微情感和氛围。为了填补这一空白，我们提出了 Mozart's Touch，一个多模态音乐生成框架，能够生成与图像、视频和文本等跨模态输入对齐的音乐。该框架由三个关键组件组成：多模态字幕模块、大型语言模型（LLM）理解与桥接模块和音乐生成模块。与传统的端到端方法不同，Mozart's Touch 使用 LLM 来准确解释视觉元素，而无需训练或微调音乐生成模型，通过清晰、可解释的提示提供效率和透明度。我们还引入了“LLM-Bridge”方法来解决来自不同模态的描述性文本之间的异构表示挑战。通过一系列客观和主观评估，我们证明 Mozart's Touch 优于当前最先进的模型。我们的代码和示例可在 https://github.com/TiffanyBlews/MozartsTouch 获取。

🔬 方法详解

问题定义：现有图像、视频到音乐的生成模型，难以准确捕捉视觉内容所蕴含的复杂情感和氛围，导致生成音乐与视觉内容不匹配。传统的端到端方法需要大量训练数据，且模型缺乏透明性和可解释性。

核心思路：利用预训练大型语言模型（LLM）强大的理解和生成能力，将多模态输入（图像、视频、文本）转化为 LLM 可理解的文本描述，然后利用这些描述引导音乐生成模型生成相应的音乐。核心在于利用 LLM 作为桥梁，连接不同模态的信息。

技术框架：Mozart's Touch 框架包含三个主要模块：1) 多模态字幕模块：负责将图像、视频等视觉信息转化为文本描述。2) 大型语言模型（LLM）理解与桥接模块：利用 LLM 理解不同模态的文本描述，并进行融合和桥接，生成统一的提示。3) 音乐生成模块：根据 LLM 生成的提示，生成相应的音乐。

关键创新：该方法的核心创新在于利用 LLM 作为多模态信息融合的桥梁，避免了直接训练端到端的多模态音乐生成模型。通过 LLM 的理解和生成能力，实现了更准确、更可控的音乐生成。引入了“LLM-Bridge”方法，解决不同模态描述文本的异构性问题。

关键设计：具体的技术细节包括：多模态字幕模块采用现有的图像/视频描述模型。LLM 理解与桥接模块使用特定的 prompt 工程，引导 LLM 生成合适的音乐描述。音乐生成模块可以使用现有的文本到音乐生成模型。关键在于如何设计 LLM 的 prompt，使其能够准确理解多模态输入，并生成高质量的音乐描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

通过客观和主观评估，Mozart's Touch 在多模态音乐生成任务上取得了显著的性能提升，优于当前最先进的模型。该框架能够生成与视觉内容更贴合、情感表达更丰富的音乐。代码和示例已开源，方便研究人员进行复现和改进。

🎯 应用场景

Mozart's Touch 具有广泛的应用前景，例如：电影配乐自动生成、游戏音乐创作、广告音乐定制、以及个性化音乐推荐等。该框架能够根据用户的视觉或文本输入，快速生成与之匹配的音乐，极大地提高了音乐创作的效率和灵活性。未来，该技术有望应用于虚拟现实、增强现实等领域，为用户提供更加沉浸式的多媒体体验。

📄 摘要（原文）

In recent years, AI-Generated Content (AIGC) has witnessed rapid advancements, facilitating the creation of music, images, and other artistic forms across a wide range of industries. However, current models for image- and video-to-music synthesis struggle to capture the nuanced emotions and atmosphere conveyed by visual content. To fill this gap, we propose Mozart's Touch, a multi-modal music generation framework capable of generating music aligned with cross-modal inputs such as images, videos, and text. The framework consists of three key components: Multi-modal Captioning Module, Large Language Model (LLM) understanding \& Bridging Module, and Music Generation Module. Unlike traditional end-to-end methods, Mozart's Touch uses LLMs to accurately interpret visual elements without requiring the training or fine-tuning of music generation models, providing efficiency and transparency through clear, interpretable prompts. We also introduce the "LLM-Bridge" method to resolve the heterogeneous representation challenges between descriptive texts from different modalities. Through a series of objective and subjective evaluations, we demonstrate that Mozart's Touch outperforms current state-of-the-art models. Our code and examples are available at https://github.com/TiffanyBlews/MozartsTouch.