DexTwist: Dexterous Hand Retargeting for Twist Motion via Mixed Reality-based Teleoperation
作者: Dongmyoung Lee, Chengxi Li, Dongheui Lee
分类: cs.RO
发布日期: 2026-05-12
备注: 6 pages, 5 figures, 2 tables. Dongmyoung Lee and Chengxi Li contributed equally to this research
💡 一句话要点
DexTwist：基于混合现实遥操作的灵巧手旋转运动重定向
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 灵巧手遥操作 混合现实 旋转重定向 具身差距 功能性操作
📋 核心要点
- 现有基于运动学相似性的重定向方法在旋转操作中表现不佳，因为忽略了机器人手与人手的具身差异。
- DexTwist通过估计操作者的意图旋转轴和旋转幅度，并实时优化机器人手的关节空间，实现功能性的旋转重定向。
- 实验结果表明，DexTwist在旋转角度跟踪和旋转轴稳定性方面优于传统方法，提升了旋转操作的性能。
📝 摘要（中文）
通过混合现实（MR）界面进行灵巧遥操作为将人类操作技能转移到灵巧机器人手提供了一种可扩展的范例。然而，传统的最小化运动学差异（例如，关节角度或指尖位置误差）的重定向方法在接触丰富的旋转操作中常常失败，例如开瓶盖、转钥匙和拧螺栓。这种失败源于具身差距：不匹配的连杆长度、关节轴/限制和指尖几何形状可能导致直接的姿势模仿引起切向指尖滑动，而不是稳定的物体旋转，从而导致螺旋转轴漂移、接触滑动和抓取不稳定。为了解决这个问题，我们提出了DexTwist，一个用于基于MR的灵巧遥操作的功能性旋转重定向框架。DexTwist检测三脚架捏持，估计操作者期望的螺旋转轴和旋转幅度，并应用实时残差关节空间细化，该细化跟踪旋转进度，同时规范机器人三脚架几何形状。该细化最小化由转动角度、螺旋转轴一致性、指尖闭合和三脚架稳定性定义的虚拟对象目标。仿真和真实世界的实验表明，与基于矢量的重定向基线相比，DexTwist提高了转动角度跟踪和螺旋转轴稳定性。
🔬 方法详解
问题定义：论文旨在解决灵巧手遥操作中，由于人手和机器人手之间的具身差距，导致在执行旋转操作（如拧螺丝）时，传统基于运动学相似性的重定向方法容易出现指尖滑动、螺旋转轴漂移和抓取不稳定的问题。现有方法主要关注关节角度或指尖位置的误差最小化，忽略了旋转操作的功能性需求。
核心思路：DexTwist的核心思路是进行功能性的旋转重定向，即不直接模仿人手的姿态，而是估计操作者期望的旋转轴和旋转幅度，然后通过优化机器人手的关节空间，使得机器人手能够稳定地执行旋转操作。这种方法关注操作的最终效果，而不是单纯的姿态复制，从而克服具身差距带来的问题。
技术框架：DexTwist框架主要包含以下几个阶段：1) 三脚架捏持检测：检测操作者是否使用了三指捏持；2) 旋转轴和旋转幅度估计：估计操作者期望的旋转轴和旋转幅度；3) 实时残差关节空间细化：通过优化机器人手的关节空间，跟踪旋转进度，同时保证机器人手的三脚架几何形状稳定。这个阶段是核心，通过最小化一个虚拟对象目标来实现。
关键创新：DexTwist的关键创新在于提出了功能性的旋转重定向方法，它不直接模仿人手的姿态，而是关注操作的最终效果，即稳定地执行旋转操作。此外，实时残差关节空间细化能够有效地跟踪旋转进度，并保证机器人手的稳定性。与传统的基于矢量的重定向方法相比，DexTwist能够更好地处理具身差距带来的问题。
关键设计：DexTwist的关键设计包括：1) 虚拟对象目标函数：该函数包含转动角度、螺旋转轴一致性、指尖闭合和三脚架稳定性等多个项，用于优化机器人手的关节空间；2) 实时残差关节空间细化：通过迭代优化关节空间，逐步逼近目标姿态，同时保证机器人手的稳定性；3) 三脚架捏持检测：通过检测操作者是否使用了三指捏持，来判断是否需要进行旋转重定向。
🖼️ 关键图片
📊 实验亮点
实验结果表明，与基于矢量的重定向基线相比，DexTwist在转动角度跟踪和螺旋转轴稳定性方面有显著提升。具体来说，DexTwist能够更准确地跟踪操作者的旋转意图，并减少螺旋转轴的漂移，从而提高旋转操作的成功率和效率。仿真和真实世界的实验都验证了DexTwist的有效性。
🎯 应用场景
DexTwist技术可应用于远程机器人操作、医疗手术、危险环境处理等领域。通过提高机器人手在旋转操作中的稳定性和精度，可以使机器人更好地完成各种复杂任务，例如远程维修、精细装配和医疗辅助等。该技术还有潜力应用于虚拟现实和增强现实游戏，提供更自然和精确的交互体验。
📄 摘要（原文）
Dexterous teleoperation via Mixed Reality (MR)-based interfaces offers a scalable paradigm for transferring human manipulation skills to dexterous robot hands. However, conventional retargeting approaches that minimize kinematic dissimilarity (e.g., joint angle or fingertip position error) often fail in contact-rich rotational manipulation, such as cap opening, key turning, and bolt screwing. This failure stems from the embodiment gap: mismatched link lengths, joint axes/limits, and fingertip geometry can cause direct pose imitation to induce tangential fingertip sliding rather than stable object rotation, resulting in screw axis drift, contact slip, and grasp instability. To address this, we propose DexTwist, a functional twist-retargeting framework for MR-based dexterous teleoperation. DexTwist detects a tripod pinch, estimates the operator's intended screw axis and twist magnitude, and applies a real-time residual joint-space refinement that tracks turning progress while regularizing the robot tripod geometry. The refinement minimizes a virtual-object objective defined by turning angle, screw axis consistency, fingertip closure, and tripod stability. Simulation and real-world experiments show that DexTwist improves turning angle tracking and screw axis stability compared with a vector-based retargeting baseline.