How Far Can Pretrained LLMs Go in Symbolic Music? Controlled Comparisons of Supervised and Preference-based Adaptation

📄 arXiv: 2601.22764v1 📥 PDF

作者: Deepak Kumar, Emmanouil Karystinaios, Gerhard Widmer, Markus Schedl

分类: cs.SD, cs.AI

发布日期: 2026-01-30

备注: Accepted at NLP4MusA 2026

💡 一句话要点

对比监督学习与偏好学习，评估预训练LLM在符号音乐领域的潜力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 符号音乐 大型语言模型 预训练模型 领域自适应 微调 监督学习 偏好学习

📋 核心要点

  1. 现有方法难以充分利用预训练LLM在符号音乐理解和生成方面的潜力，缺乏系统性的评估。
  2. 通过对比监督学习和偏好学习，研究领域自适应对LLM在符号音乐任务中的影响。
  3. 实验结果揭示了领域自适应与保留先验知识之间的权衡，并分析了不同评估指标的行为。

📝 摘要（中文）

音乐与语言存在显著的相似性，这促使人们使用预训练大型语言模型（LLMs）进行符号音乐的理解和生成。尽管对此的兴趣日益增长，但将指令调优的LLMs应用于符号音乐的实际效果仍未得到充分表征。本文对基于ABC的生成和理解的微调策略进行了受控的比较研究，将现成的指令调优骨干模型与领域自适应变体以及音乐专用LLM基线进行了比较。通过多个符号音乐语料库和评估指标，我们深入了解了符号音乐应用的自适应选择。我们强调了领域自适应与保留先验信息之间的权衡，以及用于衡量符号音乐领域自适应的指标的不同行为。

🔬 方法详解

问题定义：论文旨在研究预训练LLM在符号音乐理解和生成任务中的有效性。现有方法未能充分利用指令调优LLM的潜力，并且缺乏对不同微调策略的系统性比较，尤其是在领域自适应方面。

核心思路：论文的核心思路是通过对比不同的微调策略，包括现成的指令调优LLM、领域自适应变体和音乐专用LLM，来评估预训练LLM在符号音乐领域的性能。通过这种方式，研究人员可以了解领域自适应对模型性能的影响，并确定最佳的微调策略。

技术框架：该研究的技术框架包括以下几个关键步骤：1) 选择预训练LLM作为骨干模型；2) 使用不同的微调策略（例如，监督学习和偏好学习）对模型进行微调；3) 在多个符号音乐语料库上评估模型的性能；4) 分析不同评估指标的行为，以了解领域自适应的影响。

关键创新：该研究的关键创新在于对不同微调策略进行了受控的比较研究，并深入分析了领域自适应与保留先验信息之间的权衡。此外，该研究还关注了不同评估指标在符号音乐领域的行为，这有助于更好地理解模型性能。

关键设计：论文的关键设计包括：1) 使用ABC符号作为音乐表示；2) 采用监督学习和偏好学习作为微调策略；3) 使用多个符号音乐语料库进行评估；4) 采用多种评估指标，包括BLEU、ROUGE等，以全面评估模型性能。具体的参数设置和网络结构细节在论文中未明确给出，属于未知信息。

📊 实验亮点

实验结果表明，领域自适应可以显著提高LLM在符号音乐任务中的性能，但同时也需要权衡保留先验信息。此外，研究还发现不同的评估指标在符号音乐领域表现出不同的行为，这为选择合适的评估指标提供了指导。

🎯 应用场景

该研究成果可应用于自动音乐生成、音乐风格迁移、音乐信息检索等领域。通过优化LLM在符号音乐领域的应用，可以帮助音乐家和研究人员更高效地创作、分析和理解音乐，并为音乐教育和娱乐提供新的可能性。

📄 摘要（原文）

Music often shares notable parallels with language, motivating the use of pretrained large language models (LLMs) for symbolic music understanding and generation. Despite growing interest, the practical effectiveness of adapting instruction-tuned LLMs to symbolic music remains insufficiently characterized. We present a controlled comparative study of finetuning strategies for ABC-based generation and understanding, comparing an off-the-shelf instruction-tuned backbone to domain-adapted variants and a music-specialized LLM baseline. Across multiple symbolic music corpora and evaluation signals, we provide some insights into adaptation choices for symbolic music applications. We highlight the domain adaptation vs.~preserving prior information tradeoff as well as the distinct behaviour of metrics used to measure the domain adaptation for symbolic music.