Dynamic Whole-Body Dancing with Humanoid Robots -- A Model-Based Control Approach
作者: Shibowen Zhang, Jiayang Wu, Guannan Liu, Helin Zhu, Junjie Liu, Zhehan Li, Junhong Guo, Xiaokun Leng, Hangxin Liu, Jingwen Zhang, Jikai Wang, Zonghai Chen, Zhicheng He, Jiayi Wang, Yao Su
分类: cs.RO
发布日期: 2026-04-07
💡 一句话要点
提出基于模型的控制框架，实现人形机器人的动态全身舞蹈动作生成与执行
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 人形机器人 舞蹈动作生成 模型预测控制 轨迹优化 运动捕捉
📋 核心要点
- 现有方法难以生成和执行复杂、动态的人形机器人舞蹈动作，尤其是在存在干扰的真实环境中。
- 该论文提出一个两阶段框架，离线生成动态可行的舞蹈轨迹，在线使用MPC进行鲁棒的运动跟踪和适应。
- 在Kuavo 4Pro机器人上的实验表明，该框架能够生成和执行复杂的舞蹈动作，且更长的预测范围提升了性能。
📝 摘要（中文）
本文提出了一种集成的基于模型的框架，用于在人形机器人上生成和执行动态全身舞蹈动作。该框架分两个阶段运行：离线运动生成和在线运动执行，两者都利用未来状态预测，以在真实环境中实现鲁棒和动态的舞蹈动作。在离线运动生成阶段，通过运动捕捉（MoCap）系统捕获人类舞蹈演示，通过解决二次规划（QP）问题将其重新定位到机器人，并使用轨迹优化（TO）进一步细化，以确保动态可行性。在在线运动执行阶段，基于质心动力学的模型预测控制（MPC）框架实时跟踪计划的运动，并主动调整摆动脚的位置以适应真实世界的干扰。我们在全尺寸人形机器人Kuavo 4Pro上验证了我们的框架，在模拟和四分钟的现场公开表演中展示了动态舞蹈动作，该表演由四台机器人组成的团队完成。实验结果表明，更长的预测范围可以提高规划中的运动表达能力和执行中的稳定性。
🔬 方法详解
问题定义：现有人形机器人舞蹈动作生成方法通常难以兼顾动作的动态可行性、鲁棒性和表达性，尤其是在真实环境中，机器人容易受到各种干扰，导致动作执行失败。此外，如何将人类舞蹈动作高效地迁移到机器人身上，并保证机器人的运动能力也是一个挑战。
核心思路：该论文的核心思路是将舞蹈动作生成和执行解耦为两个阶段，离线阶段生成动态可行的参考轨迹，在线阶段利用模型预测控制（MPC）进行实时跟踪和干扰抑制。通过未来状态预测，MPC能够提前调整机器人的运动，从而提高鲁棒性和稳定性。
技术框架：该框架包含离线运动生成和在线运动执行两个阶段。离线阶段首先使用运动捕捉系统获取人类舞蹈动作，然后通过二次规划（QP）将动作重定向到机器人，最后使用轨迹优化（TO）生成动态可行的机器人运动轨迹。在线阶段使用基于质心动力学的MPC框架，实时跟踪离线生成的轨迹，并根据环境干扰调整摆动脚的位置。
关键创新：该论文的关键创新在于将未来状态预测融入到人形机器人的舞蹈动作生成和执行中。离线阶段的轨迹优化利用了未来状态信息来保证动态可行性，在线阶段的MPC则利用未来状态预测来提前调整运动，从而提高鲁棒性。此外，该框架还提出了一种高效的运动重定向方法，可以将人类舞蹈动作快速地迁移到机器人身上。
关键设计：在离线阶段，轨迹优化使用了动态可行性约束，包括关节力矩限制、地面反作用力限制等。在线阶段，MPC的目标函数包括跟踪误差、控制力矩和摆动脚位置调整的惩罚项。预测范围的长度是一个关键参数，更长的预测范围可以提高鲁棒性和运动表达能力。此外，质心动力学模型的精度也会影响MPC的性能。
🖼️ 关键图片
📊 实验亮点
该论文在全尺寸人形机器人Kuavo 4Pro上进行了实验验证，成功实现了四分钟的现场公开舞蹈表演，由四台机器人组成的团队完成。实验结果表明，更长的预测范围可以显著提高运动的表达能力和执行的稳定性。具体来说，与较短的预测范围相比，更长的预测范围可以减少跟踪误差，并提高机器人对外部干扰的抵抗能力。
🎯 应用场景
该研究成果可应用于人形机器人的娱乐表演、教育、康复训练等领域。例如，可以让人形机器人在舞台上进行舞蹈表演，为观众带来全新的视觉体验。此外，还可以利用人形机器人进行舞蹈教学，帮助人们学习舞蹈动作。在康复训练方面，人形机器人可以辅助患者进行运动训练，提高康复效果。未来，该技术有望进一步拓展到更广泛的人机交互领域。
📄 摘要（原文）
This paper presents an integrated model-based framework for generating and executing dynamic whole-body dance motions on humanoid robots. The framework operates in two stages: offline motion generation and online motion execution, both leveraging future state prediction to enable robust and dynamic dance motions in real-world environments. In the offline motion generation stage, human dance demonstrations are captured via a motion capture (MoCap) system, retargeted to the robot by solving a Quadratic Programming (QP) problem, and further refined using Trajectory Optimization (TO) to ensure dynamic feasibility. In the online motion execution stage, a centroidal dynamics-based Model Predictive Control (MPC) framework tracks the planned motions in real time and proactively adjusts swing foot placement to adapt to real world disturbances. We validate our framework on the full-size humanoid robot Kuavo 4Pro, demonstrating the dynamic dance motions both in simulation and in a four-minute live public performance with a team of four robots. Experimental results show that longer prediction horizons improve both motion expressiveness in planning and stability in execution.