A Closed-Form Geometric Retargeting Solver for Upper Body Humanoid Robot Teleoperation
作者: Chuizheng Kong, Yunho Cho, Wonsuhk Jung, Idris Wibowo, Parth Shinde, Sundhar Vinodh-Sangeetha, Long Kiu Chung, Zhenyang Chen, Andrew Mattei, Advaith Nidumukkala, Alexander Elias, Danfei Xu, Taylor Higgins, Shreyas Kousik
分类: cs.RO
发布日期: 2026-02-02
备注: Project page at https://sew-mimic.com/
💡 一句话要点
提出SEW-Mimic，用于上肢人形机器人遥操作的闭式几何重定向解算器
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 机器人遥操作 运动重定向 人形机器人 闭式解 几何方法 方向对齐 人机交互
📋 核心要点
- 现有机器人遥操作方法依赖优化算法匹配末端执行器位置和姿态，导致计算缓慢、运动不自然，且限制了机器人工作空间。
- SEW-Mimic将重定向问题转化为方向对齐问题，通过对齐肩肘腕关键点定义的上下臂方向，实现了闭式解，保证了最优性。
- 实验表明SEW-Mimic在计算速度和精度上优于现有方法，用户研究表明其提高了遥操作任务的成功率，并能加速策略学习。
📝 摘要（中文）
本文提出了一种针对双臂人形机器人遥操作的运动重定向方法，旨在解决现有方法次优、速度慢的问题。该方法将重定向问题重新定义为方向对齐问题，从而实现了一种具有最优性保证的闭式几何解算算法。核心思想是将机器人手臂与从肩、肘、腕（SEW）关键点识别人体上臂和下臂的方向对齐，因此该方法被称为SEW-Mimic。该方法在标准商用CPU上具有快速推理速度（3 kHz），为下游应用留出计算开销，例如本文中的一个避免双臂自碰撞的安全滤波器。该方法适用于大多数7自由度机器人手臂和人形机器人，并且与输入关键点来源无关。实验表明，SEW-Mimic在计算时间和准确性方面优于其他重定向方法。初步用户研究表明，该方法提高了遥操作任务的成功率。初步分析表明，由于数据更平滑，使用SEW-Mimic收集的数据可以改善策略学习。SEW-Mimic也被证明是加速全身人形机器人重定向的一种直接方法。硬件演示验证了SEW-Mimic的实用性。结果强调了SEW-Mimic作为双臂机器人操作和人形机器人遥操作的基本构建块的效用。
🔬 方法详解
问题定义：现有机器人遥操作方法通常通过优化算法，使机器人末端执行器（如手爪）的位置和姿态与人的手部运动相匹配。这种方法计算量大，容易陷入局部最优，导致机器人运动不流畅、延迟高，并且机器人的工作空间受到人类活动范围的限制。此外，现有的优化方法难以保证解的最优性。
核心思路：SEW-Mimic的核心思路是将运动重定向问题转化为一个方向对齐问题。具体来说，该方法不再直接匹配末端执行器的位置和姿态，而是通过对齐机器人手臂与人体上臂和下臂的方向来实现运动的传递。人体上臂和下臂的方向由肩、肘、腕（SEW）三个关键点定义。这种方法避免了复杂的优化过程，可以直接通过几何计算得到闭式解。
技术框架：SEW-Mimic的整体框架非常简洁。首先，从人体运动捕捉系统获取肩、肘、腕三个关键点的位置信息。然后，利用这些关键点计算出人体上臂和下臂的方向向量。接下来，通过闭式几何解算器，计算出机器人手臂的关节角度，使得机器人手臂的上臂和下臂方向与人体相应部位的方向尽可能对齐。最后，将计算得到的关节角度发送给机器人控制器，驱动机器人运动。该框架可以方便地集成安全滤波器，例如避免双臂自碰撞。
关键创新：SEW-Mimic最重要的技术创新在于将运动重定向问题转化为方向对齐问题，并利用几何方法求解。与传统的优化方法相比，该方法避免了迭代计算，可以直接得到闭式解，从而大大提高了计算速度和效率。此外，该方法还具有最优性保证，可以确保机器人运动的自然性和流畅性。该方法与现有方法的本质区别在于，它不再依赖于末端执行器的位置和姿态匹配，而是关注于手臂方向的对齐。
关键设计：SEW-Mimic的关键设计在于如何定义和计算手臂的方向向量，以及如何设计闭式几何解算器。手臂方向向量由肩、肘、腕三个关键点的位置信息计算得到。闭式几何解算器的设计需要考虑到机器人手臂的运动学结构，确保计算得到的关节角度能够使机器人手臂的方向与人体手臂的方向尽可能对齐。论文中没有详细说明具体的参数设置和损失函数，这部分可能依赖于具体的机器人平台和应用场景。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SEW-Mimic在计算速度和精度上均优于其他重定向方法。SEW-Mimic在标准商用CPU上实现了3 kHz的推理速度，显著降低了延迟。用户研究表明，使用SEW-Mimic进行遥操作可以提高任务成功率。此外，初步分析表明，使用SEW-Mimic收集的数据可以改善策略学习效果。
🎯 应用场景
SEW-Mimic具有广泛的应用前景，可用于人形机器人的远程操作、康复训练、虚拟现实交互等领域。该方法能够提高机器人操作的效率和精度，降低操作难度，使机器人能够更好地服务于人类。未来，该方法可以进一步扩展到全身运动重定向，实现更复杂的人机交互任务。
📄 摘要（原文）
Retargeting human motion to robot poses is a practical approach for teleoperating bimanual humanoid robot arms, but existing methods can be suboptimal and slow, often causing undesirable motion or latency. This is due to optimizing to match robot end-effector to human hand position and orientation, which can also limit the robot's workspace to that of the human. Instead, this paper reframes retargeting as an orientation alignment problem, enabling a closed-form, geometric solution algorithm with an optimality guarantee. The key idea is to align a robot arm to a human's upper and lower arm orientations, as identified from shoulder, elbow, and wrist (SEW) keypoints; hence, the method is called SEW-Mimic. The method has fast inference (3 kHz) on standard commercial CPUs, leaving computational overhead for downstream applications; an example in this paper is a safety filter to avoid bimanual self-collision. The method suits most 7-degree-of-freedom robot arms and humanoids, and is agnostic to input keypoint source. Experiments show that SEW-Mimic outperforms other retargeting methods in computation time and accuracy. A pilot user study suggests that the method improves teleoperation task success. Preliminary analysis indicates that data collected with SEW-Mimic improves policy learning due to being smoother. SEW-Mimic is also shown to be a drop-in way to accelerate full-body humanoid retargeting. Finally, hardware demonstrations illustrate SEW-Mimic's practicality. The results emphasize the utility of SEW-Mimic as a fundamental building block for bimanual robot manipulation and humanoid robot teleoperation.