HNote: Extending YNote with Hexadecimal Encoding for Fine-Tuning LLMs in Music Modeling

📄 arXiv: 2509.25694v2 📥 PDF

作者: Hung-Ying Chu, Shao-Yu Wei, Guan-Wei Chen, Tzu-Wei Hung, ChengYang Tsai, Yu-Cheng Lin

分类: cs.SD, cs.AI

发布日期: 2025-09-30 (更新: 2025-10-04)

💡 一句话要点

提出HNote：一种基于十六进制编码的音乐表示方法，用于微调LLM以进行音乐建模

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 音乐建模 大型语言模型 十六进制编码 音乐生成 参数高效微调

📋 核心要点

  1. 现有音乐表示方法（如MIDI）复杂或结构不一致，不适合基于token的LLM学习。
  2. 提出HNote，一种基于十六进制的音乐表示，在固定小节内编码音高和时值，利于LLM学习。
  3. 实验表明，使用HNote微调LLaMA-3.1(8B)后，音乐生成在句法正确率和风格连贯性上表现良好。

📝 摘要（中文）

大型语言模型（LLMs）的最新进展为符号音乐生成创造了新的机会。然而，现有的格式如MIDI、ABC和MusicXML要么过于复杂，要么结构不一致，限制了它们对基于token的学习架构的适用性。为了解决这些挑战，我们提出HNote，一种新颖的基于十六进制的记谱系统，它扩展自YNote，在固定的32单位小节框架内编码音高和时值。这种设计确保了对齐，减少了歧义，并且与LLM架构直接兼容。我们将从YNote生成的12,300首江南风格的传统民歌转换为HNote，并使用参数高效的LoRA微调了LLaMA-3.1(8B)。实验结果表明，HNote实现了82.5%的句法正确率，BLEU和ROUGE评估表明了强大的符号和结构相似性，从而产生了风格连贯的作曲。这项研究确立了HNote作为将LLM与文化音乐建模相结合的有效框架。

🔬 方法详解

问题定义：现有音乐表示方法，如MIDI、ABC和MusicXML，在用于基于token的LLM音乐生成时存在局限性。MIDI等格式过于复杂，包含大量冗余信息，而其他格式可能存在结构不一致的问题，导致LLM难以学习和生成高质量的音乐。这些痛点阻碍了LLM在音乐建模领域的应用。

核心思路：HNote的核心思路是设计一种简洁、结构化的音乐表示方法，使其易于被LLM理解和处理。通过将音高和时值编码到固定的32单位小节框架内，HNote确保了音乐序列的对齐和一致性，减少了歧义，从而提高了LLM的学习效率和生成质量。使用十六进制编码进一步简化了表示，使其更适合token-based的LLM架构。

技术框架：HNote的整体框架包括以下几个步骤：1) 将现有的音乐数据（如YNote格式的江南民歌）转换为HNote格式。2) 使用转换后的HNote数据微调大型语言模型（如LLaMA-3.1(8B)）。3) 使用微调后的LLM生成新的音乐作品。4) 对生成的音乐作品进行评估，包括句法正确率、BLEU和ROUGE等指标。

关键创新：HNote的关键创新在于其基于十六进制的固定长度编码方案。与传统的音乐表示方法相比，HNote更加简洁、结构化，并且与LLM的token-based架构天然兼容。这种设计使得LLM能够更容易地学习音乐的结构和规律，从而生成更高质量的音乐作品。

关键设计：HNote使用十六进制编码来表示音高和时值，每个音符都编码在固定的32单位小节框架内。具体编码方案的细节（例如，如何将音高和时值映射到十六进制数字）在论文中应该有更详细的描述（具体细节未知）。论文使用了LoRA（Low-Rank Adaptation）进行参数高效的微调，这是一种常用的减少LLM微调计算成本的技术。损失函数和网络结构应该与LLaMA-3.1(8B)的默认设置保持一致，重点在于HNote格式的数据对模型性能的影响。

📊 实验亮点

实验结果表明，使用HNote微调LLaMA-3.1(8B)后，生成的音乐作品在句法正确率方面达到了82.5%。此外，BLEU和ROUGE评估结果表明，生成的音乐作品与原始音乐作品在符号和结构上具有很高的相似性，证明了HNote在音乐建模方面的有效性。这些结果表明，HNote能够帮助LLM更好地理解和生成音乐，从而产生风格连贯的作曲。

🎯 应用场景

HNote的应用场景广泛，包括文化音乐的建模与生成、音乐教育、音乐创作辅助工具以及个性化音乐推荐系统。通过结合LLM，HNote可以用于生成具有特定风格和情感的音乐作品，帮助音乐家进行创作，并为用户提供个性化的音乐体验。该研究有助于推动AI在音乐领域的应用，并促进文化遗产的传承与创新。

📄 摘要（原文）

Recent advances in large language models (LLMs) have created new opportunities for symbolic music generation. However, existing formats such as MIDI, ABC, and MusicXML are either overly complex or structurally inconsistent, limiting their suitability for token-based learning architectures. To address these challenges, we propose HNote, a novel hexadecimal-based notation system extended from YNote, which encodes both pitch and duration within a fixed 32-unit measure framework. This design ensures alignment, reduces ambiguity, and is directly compatible with LLM architectures. We converted 12,300 Jiangnan-style songs generated from traditional folk pieces from YNote into HNote, and fine-tuned LLaMA-3.1(8B) using parameter-efficient LoRA. Experimental results show that HNote achieves a syntactic correctness rate of 82.5%, and BLEU and ROUGE evaluations demonstrate strong symbolic and structural similarity, producing stylistically coherent compositions. This study establishes HNote as an effective framework for integrating LLMs with cultural music modeling.