FürElise: Capturing and Physically Synthesizing Hand Motions of Piano Performance
作者: Ruocheng Wang, Pei Xu, Haochen Shi, Elizabeth Schumann, C. Karen Liu
分类: cs.GR, cs.AI, cs.SD, eess.AS
发布日期: 2024-10-08
备注: SIGGRAPH Asia 2024. Project page: https://for-elise.github.io/
💡 一句话要点
FürElise：提出一种结合模仿学习与强化学习的钢琴演奏手部动作物理合成方法。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 钢琴演奏 手部动作合成 物理仿真 模仿学习 强化学习 扩散模型 音乐相似性 数据集
📋 核心要点
- 现有手部动作模型难以准确重现钢琴演奏的灵巧性和复杂性，限制了其在角色动画、具身AI等领域的应用。
- 论文提出结合模仿学习和强化学习的物理合成方法，利用扩散模型生成参考动作，并通过音乐相似性检索增强数据，提升策略精度。
- 实验结果表明，该方法能够生成自然、灵巧的钢琴演奏手部动作，并能泛化到训练集之外的音乐作品。
📝 摘要（中文）
本文构建了一个首创的大规模数据集，包含15位顶尖钢琴家演奏153首古典音乐的约10小时3D手部动作和音频数据。为了捕捉自然的演奏，我们设计了一个无标记设置，其中动作通过最先进的姿态估计模型从多视角视频中重建。利用专业雅马哈Disklavier钢琴中的传感器获得的高分辨率MIDI按键数据，通过逆运动学进一步优化运动数据。基于收集的数据集，我们开发了一个pipeline，可以为数据集之外的乐谱合成物理上合理的手部动作。我们的方法采用模仿学习和强化学习相结合的方式，获得基于物理的双手动控制策略，涉及手与钢琴琴键之间的交互。为了解决大数据集带来的采样效率问题，我们使用扩散模型生成自然的参考动作，提供高级轨迹和指法信息。然后，我们通过使用音乐相似性从捕获的数据集中检索相似的动作来进一步扩充数据，以提高RL策略的精度。通过所提出的方法，我们的模型生成自然的、灵巧的动作，可以推广到训练数据集之外的音乐。
🔬 方法详解
问题定义：论文旨在解决钢琴演奏手部动作的物理合成问题。现有方法难以生成自然、灵巧且能泛化的手部动作，尤其是在处理复杂音乐作品时，往往缺乏足够的精度和真实感。此外，从大数据集中有效学习也面临采样效率的挑战。
核心思路：论文的核心思路是结合模仿学习和强化学习的优势，利用模仿学习快速学习动作的整体结构，再通过强化学习优化动作的物理合理性和交互细节。同时，利用扩散模型生成参考动作，并结合音乐相似性进行数据增强，以提高采样效率和策略精度。
技术框架：整体框架包含以下几个主要模块：1) 数据采集：使用多视角视频和Disklavier钢琴记录钢琴家的演奏数据。2) 运动重建与优化：利用姿态估计模型重建手部动作，并使用逆运动学和MIDI数据进行优化。3) 参考动作生成：使用扩散模型从音乐乐谱生成参考手部动作。4) 策略学习：结合模仿学习和强化学习训练物理控制策略。5) 数据增强：利用音乐相似性从数据集中检索相似动作，扩充训练数据。
关键创新：论文的关键创新在于：1) 构建了大规模钢琴演奏手部动作数据集。2) 提出了结合模仿学习和强化学习的物理合成方法。3) 利用扩散模型生成参考动作，提高采样效率。4) 结合音乐相似性进行数据增强，提升策略精度。
关键设计：扩散模型用于生成参考动作，其输入为音乐乐谱，输出为手部关键点的轨迹。强化学习部分，奖励函数的设计至关重要，需要考虑动作的自然性、与琴键的交互、以及音乐的准确性。模仿学习部分，使用行为克隆（Behavior Cloning）初始化强化学习策略。音乐相似性度量采用动态时间规整（Dynamic Time Warping）等方法。
🖼️ 关键图片
📊 实验亮点
论文构建了包含15位钢琴家演奏数据的10小时大规模数据集。实验结果表明，所提出的方法能够生成自然、灵巧的钢琴演奏手部动作，并能泛化到训练集之外的音乐作品。通过与基线方法对比，该方法在动作的真实性和音乐的准确性方面均取得了显著提升。具体性能数据未知。
🎯 应用场景
该研究成果可应用于角色动画、具身AI、生物力学和VR/AR等领域。例如，可以为虚拟角色生成逼真的钢琴演奏动画，帮助机器人学习钢琴演奏技能，或用于分析钢琴家的演奏动作，为音乐教育提供参考。此外，该技术还可以扩展到其他乐器的演奏动作合成，具有广泛的应用前景。
📄 摘要（原文）
Piano playing requires agile, precise, and coordinated hand control that stretches the limits of dexterity. Hand motion models with the sophistication to accurately recreate piano playing have a wide range of applications in character animation, embodied AI, biomechanics, and VR/AR. In this paper, we construct a first-of-its-kind large-scale dataset that contains approximately 10 hours of 3D hand motion and audio from 15 elite-level pianists playing 153 pieces of classical music. To capture natural performances, we designed a markerless setup in which motions are reconstructed from multi-view videos using state-of-the-art pose estimation models. The motion data is further refined via inverse kinematics using the high-resolution MIDI key-pressing data obtained from sensors in a specialized Yamaha Disklavier piano. Leveraging the collected dataset, we developed a pipeline that can synthesize physically-plausible hand motions for musical scores outside of the dataset. Our approach employs a combination of imitation learning and reinforcement learning to obtain policies for physics-based bimanual control involving the interaction between hands and piano keys. To solve the sampling efficiency problem with the large motion dataset, we use a diffusion model to generate natural reference motions, which provide high-level trajectory and fingering (finger order and placement) information. However, the generated reference motion alone does not provide sufficient accuracy for piano performance modeling. We then further augmented the data by using musical similarity to retrieve similar motions from the captured dataset to boost the precision of the RL policy. With the proposed method, our model generates natural, dexterous motions that generalize to music from outside the training dataset.