From Image to Music Language: A Two-Stage Structure Decoding Approach for Complex Polyphonic OMR

📄 arXiv: 2604.20522v1 📥 PDF

作者: Nan Xu, Shiheng Li, Shengchao Hou

分类: cs.SD, cs.CV

发布日期: 2026-04-22

备注: 49 pages, 16 figures, 16 tables

💡 一句话要点

提出双阶段结构解码方法，用于复杂复调乐谱的光学音乐识别

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 光学音乐识别 乐谱识别 结构解码 拓扑识别 概率引导搜索

📋 核心要点

  1. 现有OMR系统在处理复杂复调乐谱（如钢琴谱）时，面临声部分离和节内时值计算的挑战。
  2. 论文提出将OMR第二阶段解码视为结构解码问题，利用拓扑识别和概率引导搜索（BeadSolver）进行求解。
  3. 结合程序生成和识别反馈注释的数据策略，为未来端到端、多模态和强化学习方法积累结构化乐谱数据。

📝 摘要（中文）

本文提出了一种新的方法，用于实用两阶段光学音乐识别（OMR）流程的第二阶段。给定来自视觉流程的符号和事件候选，我们将它们解码成可编辑、可验证和可导出的乐谱结构。我们专注于复杂的复调五线谱记谱，特别是钢琴乐谱，其中声部分离和乐小节内的时值是主要瓶颈。我们的方法将第二阶段解码形式化为一个结构解码问题，并使用拓扑识别与概率引导搜索（BeadSolver）作为其核心方法。我们还描述了一种数据策略，该策略将程序生成与识别反馈注释相结合。最终结果是一个用于实际OMR系统的实用解码组件，以及一条为未来的端到端、多模态和强化学习风格方法积累结构化乐谱数据的路径。

🔬 方法详解

问题定义：论文旨在解决复杂复调乐谱（尤其是钢琴谱）的光学音乐识别（OMR）问题，具体而言，是在两阶段OMR流程的第二阶段，将视觉流程输出的符号和事件候选解码为可编辑、可验证和可导出的乐谱结构。现有方法在处理此类乐谱时，面临声部分离和乐小节内时值计算的困难，导致识别准确率和可用性降低。

核心思路：论文的核心思路是将第二阶段的解码过程视为一个结构解码问题，即从候选符号和事件中推断出乐谱的整体结构。为了解决这个问题，论文采用了拓扑识别和概率引导搜索（BeadSolver）的方法，利用符号之间的拓扑关系和概率信息来指导搜索过程，从而找到最优的乐谱结构。

技术框架：该方法属于两阶段OMR流程的第二阶段，输入是来自视觉流程的符号和事件候选，输出是可编辑、可验证和可导出的乐谱结构。核心模块是基于拓扑识别和概率引导搜索的解码器（BeadSolver）。此外，论文还提出了一种数据策略，结合程序生成和识别反馈注释，用于生成训练数据。

关键创新：论文的关键创新在于将OMR第二阶段解码形式化为一个结构解码问题，并采用拓扑识别和概率引导搜索（BeadSolver）的方法进行求解。这种方法能够有效地利用符号之间的拓扑关系和概率信息，从而提高解码的准确率和鲁棒性。此外，论文提出的数据策略也为未来的研究提供了有价值的资源。

关键设计：BeadSolver的具体实现细节未知，但可以推测其关键设计包括：1) 定义符号之间的拓扑关系（例如，上下关系、左右关系等）；2) 利用概率模型对符号和事件的候选进行评分；3) 设计搜索算法，在拓扑关系的约束下，寻找概率最高的乐谱结构。数据策略的关键在于如何平衡程序生成数据的多样性和识别反馈注释数据的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出了一种新的OMR第二阶段解码方法，该方法能够有效地处理复杂的复调乐谱，特别是钢琴谱。通过结合拓扑识别和概率引导搜索，该方法能够提高解码的准确率和鲁棒性。此外，论文提出的数据策略也为未来的研究提供了有价值的资源。具体的性能数据未知。

🎯 应用场景

该研究成果可应用于乐谱数字化、音乐教育、音乐创作等领域。通过将纸质乐谱转换为可编辑的数字格式，可以方便音乐家进行乐谱编辑、分享和存储。在音乐教育方面，可以帮助学生更好地理解和学习乐谱。在音乐创作方面，可以为作曲家提供灵感和工具。

📄 摘要（原文）

We propose a new approach for the second stage of a practical two-stage Optical Music Recognition (OMR) pipeline. Given symbol and event candidates from the visual pipeline, we decode them into an editable, verifiable, and exportable score structure. We focus on complex polyphonic staff notation, especially piano scores, where voice separation and intra-measure timing are the main bottlenecks. Our approach formulates second-stage decoding as a structure decoding problem and uses topology recognition with probability-guided search (BeadSolver) as its core method. We also describe a data strategy that combines procedural generation with recognition-feedback annotations. The result is a practical decoding component for real OMR systems and a path to accumulate structured score data for future end-to-end, multimodal, and RL-style methods.