DA-MMP: Learning Coordinated and Accurate Throwing with Dynamics-Aware Motion Manifold Primitives
作者: Chi Chu, Huazhe Xu
分类: cs.RO
发布日期: 2025-09-28
💡 一句话要点
提出动力学感知运动流形基元，用于学习协调精准的投掷动作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 动态操作 运动流形 条件流匹配 机器人学习 轨迹生成
📋 核心要点
- 现有基于学习的动态操作方法依赖手动设计的动作参数化，难以生成复杂任务所需的高度协调运动。
- DA-MMP通过学习动力学感知的运动流形基元，并结合条件流匹配模型，生成考虑执行动力学的投掷轨迹。
- 实验表明，DA-MMP在真实套圈任务中表现出色，成功率高，甚至超越人类专家，并能泛化到新目标。
📝 摘要（中文）
动态操作是提升机器人性能的关键能力，例如投掷。虽然最近基于学习的方法推动了该领域的发展，但大多数方法仍然依赖于手动设计的动作参数化，限制了它们在复杂任务中产生高度协调运动的能力。运动规划可以生成可行的轨迹，但由于控制不准确、接触不确定性和空气动力学效应导致的动力学差距，常常导致计划轨迹和执行轨迹之间存在较大偏差。本文提出了动力学感知运动流形基元（DA-MMP），这是一个用于目标条件动态操作的运动生成框架，并在具有挑战性的现实世界套圈游戏中进行了实例化。我们的方法通过紧凑的参数化将运动流形基元扩展到可变长度的轨迹，并从大规模的计划运动数据集中学习高质量的流形。在此流形的基础上，利用少量真实世界的试验，在潜在空间中训练条件流匹配模型，从而能够生成考虑执行动力学的投掷轨迹。实验表明，我们的方法可以为套圈任务生成协调和平滑的运动轨迹。在真实世界的评估中，它实现了高成功率，甚至超过了训练有素的人类专家的表现。此外，它可以推广到训练范围之外的新目标，表明它成功地学习了底层的轨迹-动力学映射。
🔬 方法详解
问题定义：论文旨在解决机器人动态操作中，特别是投掷任务中，由于控制不准确、接触不确定性和空气动力学效应导致的计划轨迹与实际执行轨迹偏差大的问题。现有方法依赖手动设计的动作参数化，限制了机器人生成复杂协调运动的能力。
核心思路：核心思路是学习一个动力学感知的运动流形基元（DA-MMP），该流形能够捕捉计划运动数据中的潜在结构，并利用条件流匹配模型学习从潜在空间到实际执行轨迹的映射，从而弥合计划与执行之间的动力学差距。通过在潜在空间进行学习，可以更有效地利用少量真实世界数据来校正动力学模型。
技术框架：DA-MMP框架包含以下几个主要模块：1) 运动规划器：生成大规模的计划运动数据集。2) 运动流形学习：利用计划运动数据学习一个紧凑的运动流形基元，将可变长度的轨迹参数化到低维潜在空间。3) 条件流匹配模型：在潜在空间中训练一个条件流匹配模型，学习从目标条件到实际执行轨迹的映射，从而补偿动力学误差。4) 轨迹生成与执行：利用训练好的模型生成投掷轨迹，并在真实机器人上执行。
关键创新：关键创新在于将运动流形基元扩展到可变长度的轨迹，并通过条件流匹配模型在潜在空间中学习动力学映射。与传统方法相比，DA-MMP无需手动设计动作参数化，能够自动学习协调的运动轨迹，并能有效补偿动力学误差，提高投掷的准确性和成功率。
关键设计：DA-MMP的关键设计包括：1) 使用变分自编码器（VAE）学习运动流形基元，将可变长度的轨迹编码到固定维度的潜在空间。2) 使用条件流匹配模型学习从目标条件和潜在变量到实际执行轨迹的映射，损失函数包括轨迹误差和速度误差。3) 通过数据增强技术，例如添加噪声和扰动，提高模型的鲁棒性和泛化能力。
🖼️ 关键图片
📊 实验亮点
DA-MMP在真实世界的套圈实验中取得了显著成果，成功率超过了训练有素的人类专家。此外，该方法还展现了良好的泛化能力，能够成功投掷到训练范围之外的新目标。这些结果表明，DA-MMP能够有效地学习轨迹-动力学映射，并生成协调精准的投掷动作。
🎯 应用场景
该研究成果可应用于各种需要精确动态操作的机器人任务，如物体抓取、装配、投掷等。在工业自动化、物流、医疗等领域具有广泛的应用前景。例如，可以用于机器人自动分拣、高精度装配、远程医疗手术等，提高生产效率和操作精度，降低人工成本和风险。未来，该方法有望推广到更复杂的动态操作任务中。
📄 摘要（原文）
Dynamic manipulation is a key capability for advancing robot performance, enabling skills such as tossing. While recent learning-based approaches have pushed the field forward, most methods still rely on manually designed action parameterizations, limiting their ability to produce the highly coordinated motions required in complex tasks. Motion planning can generate feasible trajectories, but the dynamics gap-stemming from control inaccuracies, contact uncertainties, and aerodynamic effects-often causes large deviations between planned and executed trajectories. In this work, we propose Dynamics-Aware Motion Manifold Primitives (DA-MMP), a motion generation framework for goal-conditioned dynamic manipulation, and instantiate it on a challenging real-world ring-tossing task. Our approach extends motion manifold primitives to variable-length trajectories through a compact parametrization and learns a high-quality manifold from a large-scale dataset of planned motions. Building on this manifold, a conditional flow matching model is trained in the latent space with a small set of real-world trials, enabling the generation of throwing trajectories that account for execution dynamics. Experiments show that our method can generate coordinated and smooth motion trajectories for the ring-tossing task. In real-world evaluations, it achieves high success rates and even surpasses the performance of trained human experts. Moreover, it generalizes to novel targets beyond the training range, indicating that it successfully learns the underlying trajectory-dynamics mapping.