Redefining Data Pairing for Motion Retargeting Leveraging a Human Body Prior

作者: Xiyana Figuera, Soogeun Park, Hyemin Ahn

分类: cs.RO, cs.AI, cs.LG

发布日期: 2024-09-20 (更新: 2024-10-01)

备注: 8 pages, 5 Figures, Accepted at IROS 2024

💡 一句话要点

MR HuBo：利用人体先验知识，重定义运动重定向的数据配对方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: 运动重定向 人形机器人 数据配对 人体先验 监督学习

📋 核心要点

1. 现有运动重定向方法依赖于将人类动作捕捉数据转换为机器人姿势，易产生不自然的机器人动作。
2. MR HuBo反向操作，从随机机器人姿势生成人类姿势，并利用人体先验知识过滤不合理的人类姿势。
3. 实验表明，使用MR HuBo收集的数据训练的神经网络，在运动重定向任务上优于其他无监督学习方法。

📝 摘要（中文）

本文提出MR HuBo（Motion Retargeting leveraging a HUman BOdy prior），一种经济高效且便捷的方法，用于收集高质量的上半身<机器人，人类>姿势配对数据，这对于数据驱动的运动重定向方法至关重要。与现有方法通过将人类MoCap姿势转换为机器人姿势来收集<机器人，人类>姿势数据不同，我们的方法反其道而行之。我们首先采样各种随机机器人姿势，然后将它们转换为人类姿势。然而，由于随机机器人姿势可能导致极端且不可行的人类姿势，我们提出了一种额外的技术，通过利用从大量人类姿势数据中训练的人体先验知识来筛选出极端姿势。我们的数据收集方法可用于任何人形机器人，如果设计或优化系统的超参数，包括尺寸比例因子和用于采样的关节角度范围。除了这种数据收集方法，我们还提出了一个两阶段运动重定向神经网络，可以通过大量配对数据的监督学习进行训练。与其他通过无监督学习训练的基于学习的方法相比，我们发现我们的深度神经网络在大量高质量配对数据的训练下取得了显著的性能。我们的实验还表明，我们的数据过滤方法比使用原始和噪声数据训练模型产生更好的重定向结果。我们的代码和视频结果可在https://sites.google.com/view/mr-hubo/上找到。

🔬 方法详解

问题定义：现有的运动重定向方法通常依赖于将人类动作捕捉数据映射到机器人上。这种方法的痛点在于，直接转换可能导致机器人姿势不自然或超出其运动范围，尤其是在机器人和人类的结构差异较大时。此外，获取高质量的、配对的<机器人，人类>姿势数据成本高昂，限制了数据驱动方法的应用。

核心思路：MR HuBo的核心思路是反向生成配对数据，即先随机生成机器人的姿势，然后将这些姿势映射到人类身上。这种方法能够更好地探索机器人的运动空间，并生成更多样化的训练数据。为了解决随机机器人姿势可能导致不合理人类姿势的问题，该方法引入了人体先验知识进行过滤。

技术框架：MR HuBo包含两个主要部分：数据收集和运动重定向神经网络。数据收集部分首先随机采样机器人姿势，然后通过逆运动学或其他映射方法将其转换为人类姿势。接着，利用人体先验模型对生成的人类姿势进行评估，过滤掉不合理的姿势。运动重定向神经网络是一个两阶段的网络，用于学习从人类姿势到机器人姿势的映射。

关键创新：该论文的关键创新在于反向数据配对策略和人体先验知识的应用。传统的运动重定向方法通常从人类姿势到机器人姿势进行映射，而MR HuBo反其道而行之，从机器人姿势到人类姿势。此外，利用人体先验知识过滤不合理的人类姿势，保证了训练数据的质量。

关键设计：数据收集过程中，需要设置尺寸比例因子和关节角度范围等超参数，以适应不同的人形机器人。人体先验模型可以使用VAE等方法，在大规模人类姿势数据上进行训练。两阶段运动重定向神经网络的具体结构未知，但可以通过监督学习进行训练，损失函数通常包括姿势误差和关节角度误差。

🖼️ 关键图片

📊 实验亮点

该论文通过实验证明，使用MR HuBo收集的数据训练的运动重定向神经网络，在性能上优于使用原始数据或通过无监督学习训练的模型。具体性能数据未知，但论文强调了在大量高质量配对数据上进行监督学习的优势，以及数据过滤方法对提升重定向结果的重要性。

🎯 应用场景

MR HuBo可应用于各种人形机器人的运动控制和人机交互领域。例如，可以用于远程操作机器人，使机器人能够模仿人类的动作。此外，该方法还可以用于机器人舞蹈、康复训练等应用，提高机器人的运动能力和智能化水平。该研究降低了高质量配对数据获取的成本，促进了数据驱动的运动重定向技术的发展。

📄 摘要（原文）

We propose MR HuBo(Motion Retargeting leveraging a HUman BOdy prior), a cost-effective and convenient method to collect high-quality upper body paired pose data, which is essential for data-driven motion retargeting methods. Unlike existing approaches which collect pose data by converting human MoCap poses into robot poses, our method goes in reverse. We first sample diverse random robot poses, and then convert them into human poses. However, since random robot poses can result in extreme and infeasible human poses, we propose an additional technique to sort out extreme poses by exploiting a human body prior trained from a large amount of human pose data. Our data collection method can be used for any humanoid robots, if one designs or optimizes the system's hyperparameters which include a size scale factor and the joint angle ranges for sampling. In addition to this data collection method, we also present a two-stage motion retargeting neural network that can be trained via supervised learning on a large amount of paired data. Compared to other learning-based methods trained via unsupervised learning, we found that our deep neural network trained with ample high-quality paired data achieved notable performance. Our experiments also show that our data filtering method yields better retargeting results than training the model with raw and noisy data. Our code and video results are available on https://sites.google.com/view/mr-hubo/