Towards an AI Musician: Synthesizing Sheet Music Problems for Musical Reasoning

📄 arXiv: 2509.04059v2 📥 PDF

作者: Zhilin Wang, Zhe Yang, Yun Luo, Yafu Li, Xiaoye Qu, Ziqian Qiao, Haoran Zhang, Runzhe Zhan, Derek F. Wong, Jizhe Zhou, Yu Cheng

分类: cs.CL

发布日期: 2025-09-04 (更新: 2025-09-26)

备注: 34 pages

💡 一句话要点

提出SSMR-Bench：合成乐谱推理问题，提升AI音乐家能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 乐谱理解 AI音乐家 合成数据 程序化生成 强化学习 多模态学习 音乐推理 SSMR-Bench

📋 核心要点

  1. 现有方法缺乏针对乐谱推理的评估基准和训练数据，阻碍了AI音乐家发展。
  2. 将音乐理论规则程序化，系统合成乐谱推理问题，构建SSMR-Bench基准和训练集。
  3. 利用合成数据进行RLVR，显著提升模型在SSMR-Bench及人工基准上的性能。

📝 摘要（中文）

为了提升大型语言模型（LLMs）和多模态大型语言模型（MLLMs）理解乐谱的能力，本文提出了一种新颖的方法，旨在构建AI音乐家。当前研究缺乏乐谱推理的评估基准和训练数据。受数学的启发，本文将核心音乐理论规则（如节拍和音程）视为程序化函数，以系统地合成大量且多样化的乐谱推理问题。该方法引入了一个数据合成框架，可以生成文本和视觉模态的可验证乐谱问题，从而构建了合成乐谱推理基准（SSMR-Bench）和一个补充训练集。在SSMR-Bench上的评估结果突出了推理在乐谱理解中的关键作用，同时也指出了视觉格式乐谱理解方面存在的挑战。通过利用合成数据进行RLVR（Reinforcement Learning from Verification and Refinement），所有模型在SSMR-Bench上都表现出显著的改进。此外，它们在先前建立的人工基准（如MusicTheoryBench和MMMU的音乐子集）上也表现出显著的进步。最后，结果表明，增强的推理能力还可以促进音乐创作。

🔬 方法详解

问题定义：现有的大型语言模型和多模态大型语言模型在理解乐谱方面能力不足，缺乏专门的乐谱推理数据集和评估基准。这使得评估和提升AI在音乐理解方面的能力变得困难。现有的音乐数据集主要集中在音频或MIDI格式，缺乏对乐谱的细粒度推理能力的支持。

核心思路：本文的核心思路是将音乐理论规则（如节拍、音程等）视为程序化的函数，通过这些函数可以系统地生成大量多样化的乐谱推理问题。这种方法借鉴了数学中通过简单运算产生无限可验证问题的思想，从而避免了人工标注的成本和局限性。通过合成数据，可以有效地训练模型理解乐谱中的各种规则和关系。

技术框架：该框架包含以下几个主要模块：1) 音乐理论规则的程序化定义；2) 基于这些规则生成乐谱推理问题，包括文本和视觉两种模态；3) 构建合成乐谱推理基准（SSMR-Bench）和训练集；4) 利用合成数据进行RLVR（Reinforcement Learning from Verification and Refinement）训练模型；5) 在SSMR-Bench以及现有的人工基准上评估模型性能。

关键创新：最重要的技术创新点在于利用程序化方法合成乐谱推理问题。与传统的人工标注数据集相比，这种方法可以生成无限数量的问题，覆盖更广泛的音乐理论概念，并且可以保证问题的正确性和可验证性。此外，使用RLVR框架，模型可以通过自我验证和改进来提升性能。

关键设计：在数据生成方面，需要精心设计程序化规则，确保生成的问题既具有挑战性，又符合音乐理论的规范。在RLVR训练中，需要设计合适的奖励函数，鼓励模型生成符合规则的答案，并惩罚错误的答案。具体的参数设置和网络结构的选择可能需要根据具体的模型和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，利用合成数据进行RLVR训练后，模型在SSMR-Bench上取得了显著的性能提升。此外，模型在MusicTheoryBench和MMMU的音乐子集上也表现出显著的进步，证明了合成数据训练的有效性。具体性能数据未知，但论文强调了所有模型在各个基准测试上均有显著提升。

🎯 应用场景

该研究成果可应用于开发AI音乐教育工具，辅助音乐学习者理解乐谱和音乐理论。此外，增强的乐谱理解能力可以促进AI音乐创作，例如自动生成乐谱、音乐风格迁移等。该研究还有助于提升多模态大型语言模型在音乐领域的应用能力，例如音乐推荐、音乐分析等。

📄 摘要（原文）

Enhancing the ability of Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) to interpret sheet music is a crucial step toward building AI musicians. However, current research lacks both evaluation benchmarks and training data for sheet music reasoning. Inspired by mathematics, where simple operations yield infinite verifiable problems, we introduce a novel approach that treats core music theory rules, such as those governing beats and intervals, as programmatic functions to systematically synthesize a vast and diverse corpus of sheet music reasoning problems. This approach allows us to introduce a data synthesis framework that generates verifiable sheet music questions in both textual and visual modalities, leading to the Synthetic Sheet Music Reasoning Benchmark (SSMR-Bench) and a complementary training set. Evaluation results on SSMR-Bench highlight the key role reasoning plays in interpreting sheet music, while also pointing out the ongoing challenges in understanding sheet music in a visual format. By leveraging synthetic data for RLVR, all models show significant improvements on the SSMR-Bench. Additionally, they also demonstrate considerable advancements on previously established human-crafted benchmarks, such as MusicTheoryBench and the music subset of MMMU. Finally, our results show that the enhanced reasoning ability can also facilitate music composition.