CANTABILE: Learning Expressive Dynamics for Robotic Piano Performance

📄 arXiv: 2609.18213v1 📥 PDF

作者: Woosik Kim, Wonhyeok Choi, Sunghoon Im

分类: cs.RO

发布日期: 2026-09-16

备注: 9 pages, 10 figures, 4 tables. Under review

💡 一句话要点

提出CANTABILE框架以提升机器人钢琴演奏的表现力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人演奏 音乐动态 表现力 策略优化 奖励机制 钢琴演奏 人工智能 机器学习

📋 核心要点

  1. 现有的机器人钢琴演奏方法主要关注音符的准确性，忽视了音乐动态的表现力，导致演奏效果单一。
  2. CANTABILE框架通过动态感知的策略设计，结合速度目标和奖励机制，提升了机器人演奏的表现力和准确性。
  3. 在EXPRESSIVE-51数据集上，CANTABILE将Velocity F1从0.06提升至0.34，显著改善了所有51首歌曲的演奏质量。

📝 摘要（中文）

机器人钢琴演奏已成为灵巧双手操作的标准基准，但目前的进展几乎完全依赖于音符准确性，未能评估表现力所需的音乐动态。本文提出CANTABILE，一个动态感知框架，通过对即将到来的速度目标进行条件化，映射每个音符的角速度到MIDI速度，结合速度保真度奖励和音符覆盖奖励，确保动态无法通过省略困难音符来改善。此外，通过引入alpha缩放的指尖残差，精细调整打击强度。实验结果表明，CANTABILE在EXPRESSIVE-51数据集上显著提升了表现力指标，减少了匹配音符的速度误差，并降低了与参考音频的距离。

🔬 方法详解

问题定义：本文旨在解决现有机器人钢琴演奏方法中对音乐动态表现力的忽视，现有方法仅关注音符的准确性，未能有效评估和提升演奏的表现力。

核心思路：CANTABILE框架通过动态感知的策略设计，结合即将到来的速度目标和奖励机制，确保演奏的动态表现不被忽视，从而提升整体演奏质量。

技术框架：该框架包括三个主要模块：首先是对即将到来的速度目标进行条件化的策略模块；其次是结合速度保真度和音符覆盖的奖励机制；最后是通过alpha缩放的指尖残差进行打击强度的精细调整。

关键创新：CANTABILE的主要创新在于将动态感知与奖励机制相结合，确保演奏的动态表现不受省略困难音符的影响，这一设计与传统方法有本质区别。

关键设计：在参数设置上，CANTABILE引入了速度保真度奖励和音符覆盖奖励，损失函数设计上确保了动态表现的优化，网络结构则采用了适应性调整的策略，以实现更高的演奏质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CANTABILE在EXPRESSIVE-51数据集上的实验结果显示，Velocity F1从0.06提升至0.34，匹配音符的速度误差减少超过一半，同时与参考音频的log-mel距离降低了8%。这些结果表明该框架在提升机器人演奏表现力方面的显著效果。

🎯 应用场景

CANTABILE框架的研究成果可广泛应用于机器人音乐演奏、智能乐器开发以及人机交互领域。通过提升机器人演奏的表现力，未来可能推动音乐教育、娱乐及艺术创作等多个领域的创新与发展。

📄 摘要（原文）

Robotic piano playing has emerged as a standard benchmark for dexterous bimanual manipulation, yet progress on it has been measured almost entirely by note accuracy -- which keys are pressed (pitch) and when (onset) -- leaving the musical dynamics essential for expressive performance neither rewarded nor evaluated. We propose CANTABILE, a dynamics-aware framework for robotic piano performance that (i) closes the score-to-contact loop by conditioning the policy on upcoming velocity goals and mapping each key's angular velocity at onset back to MIDI velocity, (ii) couples a velocity-fidelity reward with an onset-coverage reward, so that dynamics cannot be improved by omitting difficult notes, and (iii) refines a frozen dynamics-aware base policy with an alpha-scaled, finger-only residual that localizes strike-intensity adaptation away from nominal note execution. On EXPRESSIVE-51, a dynamics-rich 51-song subset of RoboPianist, CANTABILE raises Velocity F1 -- jointly measuring pitch, onset, and intensity within a +/-8 MIDI-velocity tolerance -- from 0.06 to 0.34 over the RoboPianist baseline, improves all 51 songs, more than halves matched-note velocity error, and reduces log-mel distance to reference audio by 8%. Intensity-randomized training further enables runtime control of performance intensity without retraining.