SMR: Learning streaming motion retargeting for humanoids from human semantic
作者: Chun Gu, Juntong Zhang, Jingyu Li, Li Zhang
分类: cs.RO
发布日期: 2026-10-21
备注: 17 pages, 6 figures. Project page: https://logosroboticsgroup.github.io/SMR/
💡 一句话要点
提出SMR以解决人类运动向类人机器人重定向问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 运动重定向 类人机器人 语义条件 物理约束 流式神经网络 动态跟踪 Transformer 闭环控制
📋 核心要点
- 现有的运动重定向方法未能有效考虑机器人的动态执行能力，导致运动语义和物理约束的冲突。
- SMR通过将人类运动转换为机器人感知的任务空间目标，利用语义条件的物理专家进行运动重定向。
- 实验结果显示，SMR在语义保真度和物理有效性上优于传统方法，并在闭环控制中表现出更好的性能。
📝 摘要（中文）
将人类运动重定向到类人机器人需要在保持运动语义的同时考虑机器人的物理约束。现有的运动重定向方法往往依赖于几何匹配的运动轨迹，未能有效考虑机器人动态执行的可行性。本文提出了SMR，一种基于语义条件的流式神经运动重定向器，通过将人类运动转换为机器人感知的任务空间目标，直接在模拟环境中跟踪这些目标。实验表明，SMR在语义保真度和物理有效性上优于基于优化的重定向方法，并在闭环性能上超越了现有的基线。
🔬 方法详解
问题定义：本文旨在解决人类运动向类人机器人重定向时，如何在保持运动语义的同时满足机器人的物理约束。现有方法往往依赖于几何匹配的运动轨迹，未能考虑机器人动态执行的可行性，导致运动效果不佳。
核心思路：SMR的核心思路是将人类运动转换为机器人感知的任务空间目标，并通过语义条件的物理专家直接跟踪这些目标，从而实现更高效的运动重定向。这样的设计使得重定向过程能够实时响应当前和过去的人类观察数据。
技术框架：SMR的整体架构包括三个主要模块：首先是将人类运动转换为机器人任务空间目标；其次是物理专家在模拟环境中跟踪这些目标；最后是使用严格因果的Transformer生成机器人运动参考。
关键创新：SMR的主要创新在于引入了语义条件的物理专家，直接在动态和接触约束下跟踪目标，从而提高了运动的语义保真度和物理有效性。这与传统的基于优化的方法有本质区别。
关键设计：在训练过程中，SMR使用了严格因果的Transformer网络，确保每个输入帧仅依赖于当前和过去的人类观察。此外，损失函数设计考虑了运动的语义和物理有效性，确保生成的运动轨迹符合实际执行要求。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SMR生成的运动在语义保真度和物理有效性上均优于传统的优化方法，具体表现为在闭环控制下，相较于基于运动学和物理优化的基线，性能提升显著，展示了更好的实时响应能力。
🎯 应用场景
该研究的潜在应用领域包括机器人动画、虚拟现实中的角色控制以及人机协作等。通过提升类人机器人在动态环境中的运动表现，SMR可以为各类机器人系统提供更自然的运动能力，增强人机交互的体验和效率。
📄 摘要（原文）
Retargeting human motion to humanoids requires preserving motion semantics while accounting for the robot's physical constraints. Kinematic pipelines prescribe a robot trajectory through geometric matching, without establishing whether it can be executed under the robot's dynamics. Prior physics-supervised neural methods train bidirectional full-sequence models on physics-refined kinematic trajectories, remaining tied to prescribed kinematic solutions and requiring noncausal context. We propose SMR, a streaming neural motion retargeter learned from semantic-conditioned physics experts. We convert human motion into robot-aware task-space targets for body landmark positions, orientations, and velocities. Physics experts track these targets directly in simulation under contact, dynamics, and actuator constraints. We train a single strictly causal Transformer on their executed state trajectories that complete the motion and pass semantic and physical validity checks. At each incoming frame, the student uses only current and past human observations to generate a robot motion reference for a downstream whole-body controller. Experiments demonstrate that semantic-conditioned physics experts generate motion with higher semantic fidelity and physical validity than direct optimization-based retargeting, while the resulting streaming retargeter achieves improved closed-loop performance over kinematic and physics-refined baselines under a common whole-body controller.