PianoFlow: Music-Aware Streaming Piano Motion Generation with Bimanual Coordination

📄 arXiv: 2604.12856v1 📥 PDF

作者: Xuan Wang, Kai Ruan, Jiayi Han, kaiyue Zhou, Gaoang Wang

分类: cs.CV

发布日期: 2026-04-14

💡 一句话要点

提出PianoFlow以解决双手协调钢琴动作生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 双手协调 钢琴动作生成 流匹配框架 音乐先验 自回归生成 角色门控交互 实时生成

📋 核心要点

  1. 现有方法在双手钢琴动作生成中缺乏符号先验，导致模型对复杂音乐结构的理解不足。
  2. PianoFlow通过引入MIDI作为训练模态，结合不对称角色门控交互模块，实现了精确的双手协调生成。
  3. 在PianoMotion10M数据集上，PianoFlow在性能上显著优于现有方法，推理速度提升超过9倍。

📝 摘要（中文）

音频驱动的双手钢琴动作生成需要精确建模复杂的音乐结构和动态的跨手协调。然而，现有方法往往依赖于缺乏符号先验的声学表示，采用不灵活的交互机制，并且在计算上受限于短序列生成。为了解决这些局限性，我们提出了PianoFlow，一个流匹配框架，用于精确和协调的双手钢琴动作合成。我们的方法在训练过程中战略性地利用MIDI作为特权模态，提炼这些结构化的音乐先验，以实现深层语义理解，同时保持音频推理。此外，我们引入了一个不对称角色门控交互模块，通过角色感知注意力和时间门控显式捕捉动态的跨手协调。通过设计自回归流延续方案，我们实现了任意长序列的实时流生成，确保跨块时间一致性。大量在PianoMotion10M数据集上的实验表明，PianoFlow在定量和定性性能上均表现优越，同时推理速度比之前的方法提高了9倍以上。

🔬 方法详解

问题定义：本论文旨在解决音频驱动的双手钢琴动作生成中的跨手协调和复杂音乐结构建模问题。现有方法往往依赖声学表示，缺乏符号信息，导致生成效果不佳。

核心思路：PianoFlow的核心思路是利用MIDI作为训练过程中的特权模态，提炼结构化的音乐先验知识，以增强模型的语义理解能力，同时在推理阶段保持音频驱动的特性。

技术框架：PianoFlow的整体架构包括流匹配框架、角色门控交互模块和自回归流延续方案。流匹配框架用于生成双手协调动作，角色门控模块用于捕捉动态交互，自回归流延续方案则确保了长序列生成的时间一致性。

关键创新：论文的主要创新在于引入不对称角色门控交互模块，通过角色感知注意力和时间门控机制，显著提升了双手之间的协调性。这一设计与传统方法相比，能够更好地捕捉动态交互。

关键设计：在模型设计中，采用了特定的损失函数来优化生成的动作质量，并通过调节门控机制的参数，增强了模型对时间序列的适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在PianoMotion10M数据集上的实验结果显示，PianoFlow在定量和定性性能上均优于现有方法，推理速度提升超过9倍，显著提高了生成的动作质量和实时性。

🎯 应用场景

PianoFlow的研究成果在音乐教育、虚拟钢琴伴奏和音乐创作等领域具有广泛的应用潜力。通过实现高效的双手协调钢琴动作生成，该技术能够为音乐学习者提供实时反馈，帮助他们更好地理解和演奏复杂的音乐作品。此外，该技术还可以用于开发智能音乐伴奏系统，提升音乐创作的效率和质量。

📄 摘要（原文）

Audio-driven bimanual piano motion generation requires precise modeling of complex musical structures and dynamic cross-hand coordination. However, existing methods often rely on acoustic-only representations lacking symbolic priors, employ inflexible interaction mechanisms, and are limited to computationally expensive short-sequence generation. To address these limitations, we propose PianoFlow, a flow-matching framework for precise and coordinated bimanual piano motion synthesis. Our approach strategically leverages MIDI as a privileged modality during training, distilling these structured musical priors to achieve deep semantic understanding while maintaining audio-only inference. Furthermore, we introduce an asymmetric role-gated interaction module to explicitly capture dynamic cross-hand coordination through role-aware attention and temporal gating. To enable real-time streaming generation for arbitrarily long sequences, we design an autoregressive flow continuation scheme that ensures seamless cross-chunk temporal coherence. Extensive experiments on the PianoMotion10M dataset demonstrate that PianoFlow achieves superior quantitative and qualitative performance, while accelerating inference by over 9\times compared to previous methods.