GaMMA: Towards Joint Global-Temporal Music Understanding in Large Multimodal Models

📄 arXiv: 2605.00371v1 📥 PDF

作者: Zuyao You, Zhesong Yu, Mingyu Liu, Bilei Zhu, Yuan Wan, Zuxuan Wu

分类: cs.SD, cs.AI

发布日期: 2026-05-01

💡 一句话要点

GaMMA：面向联合全局-时序音乐理解的大型多模态模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型多模态模型 音乐理解 混合专家 跨模态学习 时序建模 音频编码 MusicBench

📋 核心要点

  1. 现有音乐理解模型在处理时序和非时序音乐特征时存在局限性，难以实现全面的音乐内容理解。
  2. GaMMA通过混合专家的方式整合音频编码器，统一处理时序和非时序音乐理解任务，实现跨模态学习。
  3. GaMMA在MusicBench等基准测试中取得了显著的性能提升，证明了其在音乐理解方面的优越性。

📝 摘要（中文）

本文提出了GaMMA，一个旨在实现全面音乐内容理解的先进大型多模态模型（LMM）。GaMMA继承了LLaVA的精简编码器-解码器设计，实现了音乐和语言之间有效的跨模态学习。通过以混合专家的方式整合音频编码器，GaMMA有效地将时序和非时序音乐理解任务统一在一组参数中。该方法结合了大规模精心策划的数据集和渐进式训练流程，通过预训练、监督微调（SFT）和强化学习（RL）有效地推动了音乐理解的边界。为了全面评估音乐LMM的时序和非时序能力，我们引入了MusicBench，这是最大的面向音乐的基准，包含3739个由人工策划的多项选择题，涵盖了音乐理解的各个方面。大量实验表明，GaMMA在音乐领域建立了新的SoTA，在MuchoMusic上实现了79.1%的准确率，在MusicBench-Temporal上实现了79.3%的准确率，在MusicBench-Global上实现了81.3%的准确率，始终优于以前的方法。

🔬 方法详解

问题定义：现有音乐理解模型通常难以同时处理音乐的时序信息（例如节奏、旋律变化）和全局信息（例如音乐风格、情感表达）。这导致模型在理解音乐的整体含义和细微差别方面存在局限性。此外，不同类型的音乐理解任务通常需要不同的模型结构和训练方法，增加了开发的复杂性。

核心思路：GaMMA的核心思路是利用大型多模态模型（LMM）的强大能力，将音乐的时序和非时序特征统一到一个模型中进行学习。通过引入混合专家（MoE）机制，模型可以根据不同的输入选择不同的音频编码器，从而更好地处理不同类型的音乐信息。同时，借鉴LLaVA的编码器-解码器结构，实现音乐和语言之间的跨模态对齐。

技术框架：GaMMA的整体架构基于LLaVA的编码器-解码器结构。首先，音频输入通过多个音频编码器（例如，用于处理时序信息的编码器和用于处理全局信息的编码器）进行编码。然后，这些编码器的输出通过混合专家层进行融合，得到统一的音乐特征表示。最后，该特征表示被输入到语言解码器中，用于生成与音乐相关的文本描述或回答问题。整个训练流程包括预训练、监督微调（SFT）和强化学习（RL）三个阶段。

关键创新：GaMMA的关键创新在于：1) 使用混合专家的方式整合音频编码器，从而能够同时处理时序和非时序音乐信息；2) 构建了MusicBench，一个大规模的、面向音乐理解的基准测试集，用于全面评估模型的性能；3) 采用渐进式的训练流程，通过预训练、SFT和RL逐步提升模型的音乐理解能力。

关键设计：GaMMA使用了多种音频编码器，例如基于Transformer的编码器和基于CNN的编码器，以捕捉不同类型的音乐特征。混合专家层的具体实现方式未知，但推测可能使用了门控机制来动态选择不同的编码器输出。损失函数可能包括跨模态对比损失、语言建模损失和强化学习奖励函数。数据集的构建和清洗过程也至关重要，需要保证数据的质量和多样性。

📊 实验亮点

GaMMA在多个音乐理解基准测试中取得了显著的性能提升，在MuchoMusic上实现了79.1%的准确率，在MusicBench-Temporal上实现了79.3%的准确率，在MusicBench-Global上实现了81.3%的准确率。这些结果表明，GaMMA在音乐理解方面达到了新的SoTA，显著优于之前的模型。

🎯 应用场景

GaMMA具有广泛的应用前景，例如音乐自动标注、音乐推荐、音乐创作辅助、音乐教育等。它可以帮助用户更好地理解和欣赏音乐，提高音乐创作的效率和质量。未来，GaMMA可以进一步扩展到其他音乐相关的任务，例如音乐情感识别、音乐风格分类等，并与其他模态的信息（例如视频、歌词）进行融合，实现更全面的音乐理解。

📄 摘要（原文）

In this paper, we propose GaMMA, a state-of-the-art (SoTA) large multimodal model (LMM) designed to achieve comprehensive musical content understanding. GaMMA inherits the streamlined encoder-decoder design of LLaVA, enabling effective cross-modal learning between music and language. By incorporating audio encoders in a mixture-of-experts manner, GaMMA effectively unifies both time-series and non-time-series music understanding tasks within one set of parameters. Our approach combines carefully curated datasets at scale with a progressive training pipeline, effectively pushing the boundaries of music understanding via pretraining, supervised fine-tuning (SFT), and reinforcement learning (RL). To comprehensively assess both temporal and non-temporal capability of music LMMs, we introduce MusicBench, the largest music-oriented benchmark, comprising 3,739 human-curated multiple-choice questions covering diverse aspects of musical understanding. Extensive experiments demonstrate that GaMMA establishes new SoTA in the music domain, achieving 79.1% accuracy on MuchoMusic, 79.3% on MusicBench-Temporal, and 81.3% on MusicBench-Global, consistently outperforming previous methods.