MIRROR: Visual Motion Imitation via Real-time Retargeting and Teleoperation with Parallel Differential Inverse Kinematics
作者: Junheng Li, Lizhi Yang, Aaron D. Ames
分类: cs.RO
发布日期: 2026-03-25
备注: 8 pages, 7 figures
💡 一句话要点
提出基于GPU并行和连续化的微分逆运动学方法，用于实时人形机器人遥操作。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 人形机器人 遥操作 逆运动学 GPU并行 控制障碍函数
📋 核心要点
- 现有微分逆运动学方法在处理关节限制和碰撞约束时易陷入局部极小值，导致机器人行为不稳定或停滞。
- 论文提出一种基于GPU并行和连续化的微分逆运动学方法，旨在提高从约束引起的局部极小值逃逸的能力。
- 该方法结合视觉姿态估计，在THEMIS人形机器人上实现了鲁棒的实时上半身遥操作，验证了其有效性。
📝 摘要（中文）
实时人形机器人遥操作需要逆运动学(IK)求解器，该求解器既要响应迅速，又要在运动学冗余和自碰撞约束下保证安全性。虽然微分IK能够实现高效的在线重定向，但其局部线性化更新本质上依赖于初始状态，并且经常陷入关节极限、奇异点或激活的碰撞边界附近，从而导致不安全或停滞的行为。我们提出了一种基于GPU并行化的、基于连续化的微分IK，该方法在保持实时性能的同时，改进了从这种约束引起的局部最小值逃逸的能力，从而提高了安全性和稳定性。多个受约束的IK二次规划在并行中进行评估，同时结合了自碰撞避免控制障碍函数(CBF)，以及基于李雅普诺夫的进展准则，选择能够减少最终全局任务空间误差的更新。该方法与视觉骨骼姿态估计流水线相结合，能够在真实世界的任务中，在THEMIS人形机器人硬件上实现鲁棒的实时上半身遥操作。
🔬 方法详解
问题定义：论文旨在解决人形机器人实时遥操作中，微分逆运动学(IK)方法在处理运动学冗余、自碰撞约束和关节极限时容易陷入局部极小值的问题。现有方法由于局部线性化的更新方式，容易在约束边界附近停滞，导致不安全或不稳定的行为。
核心思路：论文的核心思路是利用GPU并行计算能力，同时评估多个受约束的IK二次规划，并结合连续化方法，逐步逼近最优解。通过并行搜索和连续优化，提高逃离局部极小值的能力，同时保持实时性。
技术框架：整体框架包含三个主要模块：1) 视觉骨骼姿态估计，用于获取操作者的姿态信息；2) GPU并行化的连续微分IK求解器，用于计算机器人的关节角度；3) 自碰撞避免控制障碍函数(CBF)，用于保证机器人的安全性。该框架通过李雅普诺夫函数选择最优的关节角度更新，以最小化任务空间误差。
关键创新：最重要的技术创新点在于GPU并行化的连续微分IK求解器。与传统的单线程微分IK方法相比，该方法能够同时探索多个可能的解，从而更有效地逃离局部极小值。此外，结合控制障碍函数，能够显式地保证机器人的安全性。
关键设计：关键设计包括：1) GPU并行计算的IK二次规划数量；2) 李雅普诺夫函数的选择，用于评估不同解的优劣；3) 控制障碍函数的具体形式，用于保证自碰撞避免；4) 连续化方法的步长选择，用于控制优化过程的收敛速度和稳定性。
🖼️ 关键图片
📊 实验亮点
论文通过在THEMIS人形机器人上的实验验证了所提出方法的有效性。实验结果表明，该方法能够实现鲁棒的实时上半身遥操作，并且能够有效地避免自碰撞和关节极限。虽然论文中没有给出具体的性能数据和对比基线，但强调了该方法在真实世界任务中的可行性。
🎯 应用场景
该研究成果可应用于各种需要实时遥操作的人形机器人场景，例如：危险环境下的救援任务、远程医疗手术、以及需要高精度操作的工业自动化。通过提高遥操作的安全性、稳定性和响应性，可以显著提升人形机器人在复杂环境中的工作效率和应用范围。
📄 摘要（原文）
Real-time humanoid teleoperation requires inverse kinematics (IK) solvers that are both responsive and constraint-safe under kinematic redundancy and self-collision constraints. While differential IK enables efficient online retargeting, its locally linearized updates are inherently basin-dependent and often become trapped near joint limits, singularities, or active collision boundaries, leading to unsafe or stagnant behavior. We propose a GPU-parallelized, continuation-based differential IK that improves escape from such constraint-induced local minima while preserving real-time performance, promoting safety and stability. Multiple constrained IK quadratic programs are evaluated in parallel, together with a self-collision avoidance control barrier function (CBF), and a Lyapunov-based progression criterion selects updates that reduce the final global task-space error. The method is paired with a visual skeletal pose estimation pipeline that enables robust, real-time upper-body teleoperation on the THEMIS humanoid robot hardware in real-world tasks.