ABC-Eval: Benchmarking Large Language Models on Symbolic Music Understanding and Instruction Following

📄 arXiv: 2509.23350v1 📥 PDF

作者: Jiahao Zhao, Yunjia Li, Wei Li, Kazuyoshi Yoshii

分类: cs.SD, cs.AI

发布日期: 2025-09-27

💡 一句话要点

提出ABC-Eval基准，评估大语言模型在符号音乐理解和指令跟随方面的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 符号音乐理解 指令跟随 ABC notation 基准数据集

📋 核心要点

  1. 现有大型语言模型在符号音乐理解和推理方面能力不足，缺乏专门的评估基准。
  2. 提出ABC-Eval基准，专注于评估LLM在基于文本的ABC记谱乐谱上的理解和指令跟随能力。
  3. 实验结果表明，现有LLM在ABC-Eval基准上表现出明显的局限性，验证了基准的可靠性。

📝 摘要（中文）

随着大型语言模型的不断发展，基于文本的符号音乐任务的可行性和重要性日益凸显。虽然符号音乐已被广泛应用于生成任务中，但LLM在理解和推理符号音乐方面的能力在很大程度上仍未得到探索。为了弥补这一差距，我们提出了ABC-Eval，这是第一个专门用于评估基于文本的ABC记谱乐谱的理解和指令跟随能力的开源基准。它包含1086个测试样本，涵盖10个子任务，范围从基本的音乐语法理解到复杂的序列级推理。这种多样化的范围对模型处理符号音乐任务的能力提出了重大挑战。我们评估了ABC-Eval上的七个最先进的LLM，结果表明现有模型在符号音乐处理能力方面存在明显的局限性。此外，各个基线在不同子任务中的一致表现支持了我们基准的可靠性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在理解和处理符号音乐方面的能力评估问题。现有的LLM在文本生成任务中表现出色，但在理解和推理结构化的符号音乐数据（如ABC notation）方面存在不足，缺乏专门的基准来系统地评估这些能力。这阻碍了LLM在音乐领域的进一步应用。

核心思路：论文的核心思路是构建一个全面的、具有挑战性的基准数据集ABC-Eval，该数据集涵盖了从基本的音乐语法理解到复杂的序列级推理等多种任务。通过在ABC-Eval上评估LLM的性能，可以更清晰地了解LLM在符号音乐理解方面的优势和局限性，从而指导未来的模型改进。

技术框架：ABC-Eval基准包含10个子任务，涵盖了音乐理解和指令跟随两个主要方面。这些子任务包括：音符识别、节奏理解、和弦识别、乐谱结构分析、音乐风格识别、音乐情感分析、音乐生成、音乐编辑、音乐问答和音乐摘要。每个子任务都包含多个测试样本，每个样本由ABC notation乐谱和相应的文本指令或问题组成。

关键创新：该论文的关键创新在于提出了首个专门针对LLM在符号音乐理解和指令跟随能力方面的评估基准ABC-Eval。与以往侧重于音乐生成的任务不同，ABC-Eval更侧重于LLM对音乐内容的理解和推理能力。此外，ABC-Eval涵盖了多种类型的音乐任务，可以更全面地评估LLM的音乐智能。

关键设计：ABC-Eval的数据集构建过程中，作者精心设计了每个子任务的测试样本，以确保其难度和多样性。例如，在音乐问答子任务中，问题涵盖了乐谱的各个方面，包括音高、节奏、和弦、结构和风格。在音乐编辑子任务中，指令要求模型根据给定的规则修改乐谱，例如改变调性或添加装饰音。此外，作者还设计了一套评估指标，用于衡量LLM在每个子任务上的性能。

📊 实验亮点

在ABC-Eval基准上，作者评估了七个最先进的LLM，包括GPT-3、GPT-3.5、GPT-4等。实验结果表明，现有LLM在符号音乐理解方面存在明显的局限性，尤其是在复杂的序列级推理任务上。例如，在音乐问答子任务中，LLM的平均准确率仅为60%左右。这些结果表明，需要进一步改进LLM的音乐智能。

🎯 应用场景

该研究成果可应用于音乐教育、音乐创作辅助、音乐信息检索等领域。例如，可以利用LLM帮助学生理解乐谱、辅助作曲家进行音乐创作、提高音乐检索的准确率。未来，该研究有望推动LLM在音乐领域的更广泛应用，例如自动音乐伴奏、音乐治疗等。

📄 摘要（原文）

As large language models continue to develop, the feasibility and significance of text-based symbolic music tasks have become increasingly prominent. While symbolic music has been widely used in generation tasks, LLM capabilities in understanding and reasoning about symbolic music remain largely underexplored. To address this gap, we propose ABC-Eval, the first open-source benchmark dedicated to the understanding and instruction-following capabilities in text-based ABC notation scores. It comprises 1,086 test samples spanning 10 sub-tasks, covering scenarios from basic musical syntax comprehension to complex sequence-level reasoning. Such a diverse scope poses substantial challenges to models' ability to handle symbolic music tasks. We evaluated seven state-of-the-art LLMs on ABC-Eval, and the results reveal notable limitations in existing models' symbolic music processing capabilities. Furthermore, the consistent performance of individual baselines across different sub-tasks supports the reliability of our benchmark.