OTRetarget: Joint Robot and Object Motion Retargeting via Optimal Transport
作者: Guillaume Besset, Erwann Carn, Timothée Carecchio, Valentin Tordjman-Levavasseur, Fabian Schramm, Yann de Mont-Marin, Justin Carpentier, Ajay Suresha Sathya
分类: cs.RO
发布日期: 2026-09-29
备注: 9 pages
💡 一句话要点
提出OTRetarget以解决机器人与物体运动重定向问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 机器人运动重定向 最优传输 类人机器人 运动操作 逆运动学 交互保持 深度学习
📋 核心要点
- 现有方法在将人类运动转移到机器人时，难以保持与环境的交互一致性，尤其是在运动操作任务中。
- OTRetarget通过有符号距离和最优传输方法，联合重定向机器人和多物体运动，解决了现有方法的局限性。
- 在OMOMO上，OTRetarget实现了87%的Jaccard得分和8.7毫米的深度误差，显著优于基线方法OmniRetarget。
📝 摘要（中文）
将人类运动转移到类人机器人上需要适应示范运动以符合机器人形态，同时保持与环境的交互。这在运动操作任务中尤为具有挑战性，因为地面和被操控物体的接触必须保持一致。本文提出OTRetarget，一种统一的方法，能够从人类示范中共同重定向机器人和多物体运动。该方法通过有符号距离、最近表面点和相对方向来表示表面交互，并使用熵最优传输将这些量在不同几何体之间进行转移。我们将得到的交互目标纳入约束逆运动学公式中，平衡接触保持与运动风格，并在每一帧共同优化机器人和物体的姿态。实验验证表明，该方法在OMOMO上实现了87%的机器人-物体交互Jaccard得分和8.7毫米的深度误差。
🔬 方法详解
问题定义：本文旨在解决将人类运动有效转移到类人机器人上的问题，现有方法在保持与环境交互一致性方面存在不足，尤其是在运动操作任务中，机器人与地面及物体的接触难以保持一致性。
核心思路：OTRetarget提出了一种统一的方法，通过有符号距离、最近表面点和相对方向来表示表面交互，并利用熵最优传输技术在不同几何体之间转移这些交互信息，从而实现机器人与物体的共同重定向。
技术框架：该方法的整体架构包括三个主要模块：首先，通过有符号距离和表面点计算交互目标；其次，使用熵最优传输将这些目标在不同的几何体之间进行转移；最后，将得到的交互目标纳入约束逆运动学公式中，优化机器人和物体的姿态。
关键创新：OTRetarget的主要创新在于其能够同时处理机器人与物体之间的交互，而不需要对场景或示范进行重新缩放。这一方法在处理复杂的运动操作任务时，能够更好地保持接触一致性。
关键设计：在设计中，采用了基于熵的最优传输算法来处理交互目标的转移，并在逆运动学中引入了接触保持的约束。此外，损失函数的设计考虑了运动风格与接触保持之间的平衡，确保了优化过程的有效性。
🖼️ 关键图片
📊 实验亮点
OTRetarget在OMOMO上实现了87%的机器人-物体交互Jaccard得分和8.7毫米的深度误差，相比于基线方法OmniRetarget的28%和29.3毫米，表现出显著提升，验证了其有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括类人机器人在复杂环境中的自主操作，如搬运、装配和服务等任务。通过有效的运动重定向，机器人能够更好地适应不同的操作场景，提高其在实际应用中的灵活性和效率。未来，该方法可能会推动机器人技术在家庭、工业和医疗等领域的广泛应用。
📄 摘要（原文）
Transferring human motion to humanoid robots requires adapting the demonstrated motion to the robot morphology while preserving interactions with the environment. This is particularly challenging for loco-manipulation tasks, where contacts with the ground and manipulated objects must remain consistent despite differences in body proportions. Yet, skeletal motion alone does not fully describe these interactions, and fixing object trajectories limits the adaptation to a new embodiment. In this paper, we introduce OTR ETARGET, a unified approach to jointly retarget robot and multi-object motion from human demonstrations. Our approach represents surface interactions through signed distances, closest surface points, and relative directions, and uses entropic optimal transport to transfer these quantities across human, robot, and object geometries. We incorporate the resulting interaction targets into a constrained inverse kinematics formulation that balances contact preservation with motion style and jointly optimizes robot and object poses at each frame. This formulation accommodates robot-object and object-object interactions without rescaling the scene or the demonstration. We validate the proposed approach on OMOMO, where it achieves a robot- object interaction Jaccard score of 87% and a depth error of 8.7 mm, compared with 28% and 29.3 mm for OmniRetarget. Finally, we demonstrate transfer to a physical G1 humanoid using whole-body policies trained with reinforcement learning on the retargeted references, across motions including two-handed box pick-and-place onto a table.