WristMimic: Full-Body Humanoid Control with Wrist-Guided Manipulation
作者: Wongyun Yu, Youngwoon Kim, Minsu Cho
分类: cs.RO, cs.CV, cs.GR
发布日期: 2026-07-07
备注: Accepted to ECCV 2026
💡 一句话要点
提出WristMimic以解决全身类人控制中的手腕引导操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱五：交互与反应 (Interaction & Reaction)
关键词: 类人机器人 手腕引导 操控学习 物体交互 运动学目标 抓取行为 物理模拟
📋 核心要点
- 现有方法在重定向人类物体交互时，无法有效处理接触力与手指行为的复杂性。
- WristMimic框架通过手腕引导将身体运动与手部操控分离，提升了操控的灵活性与准确性。
- 实验结果显示，WristMimic在多种手部表现中超越了依赖手指姿态监督的方法，表现出更好的适应性。
📝 摘要（中文）
在基于物理的模拟中，重定向人类物体交互演示需要重现身体运动、物体运动及接触力。然而，仅依靠手部轨迹无法准确指定操控所需的接触力，直接跟踪会限制手指的自然行为。本文提出WristMimic，一个手腕引导的全身控制框架，明确将无接触的身体运动与丰富的手部操控分开。手腕通过运动学目标进行引导，而手指则通过物体跟踪和接触结果学习抓取和操控行为。我们的关键见解是，手腕是这两种行为之间的自然桥梁。实验表明，WristMimic在不依赖手指姿态监督的情况下，能够在多样的手部表现中实现有效的重定向。
🔬 方法详解
问题定义：本文旨在解决在物理模拟中重定向人类物体交互时，如何有效再现身体与物体的运动及接触力的问题。现有方法仅依赖手部轨迹，无法准确捕捉操控所需的接触力，导致手指行为受到限制。
核心思路：WristMimic的核心思路是通过手腕引导将无接触的身体运动与丰富的手部操控分开。手腕作为连接两者的自然桥梁，能够在不直接监督手指姿态的情况下，学习抓取和操控行为。
技术框架：WristMimic框架包含两个主要模块：一是通过运动学目标引导的手腕和身体运动，二是通过物体跟踪和接触结果学习的手指操控行为。整体流程包括手腕位置的确定、手指行为的学习及反馈机制的实现。
关键创新：WristMimic的创新在于明确分离了身体运动与手部操控的学习过程，利用手腕作为桥梁，避免了对手指姿态的直接监督，从而提升了操控的灵活性和适应性。
关键设计：在设计中，WristMimic引入了手腕特定的重置约束和奖励优先级，以确保在交互过程中手腕位置的可靠性。同时，采用了适应性损失函数来优化手指的抓取与操控行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，WristMimic在多样手部表现中超越了传统方法，尤其是在不依赖手指姿态监督的情况下，表现出更高的适应性和灵活性。具体而言，WristMimic在多个测试场景中实现了接触成功率的显著提升，验证了其有效性。
🎯 应用场景
WristMimic的研究成果在机器人操控、虚拟现实和人机交互等领域具有广泛的应用潜力。通过提升类人机器人在复杂环境中的操控能力，该框架能够推动智能机器人在日常生活、工业自动化及娱乐等场景中的实际应用，具有重要的社会价值和经济效益。
📄 摘要（原文）
Retargeting human object interaction demonstrations to physics based simulation requires reproducing not only body motion but also the object motion and contacts that make manipulation succeed. However, position only hand trajectories do not specify the contact forces needed to manipulate objects, and directly tracking them can overconstrain contact rich finger behavior. We introduce WristMimic, a wrist guided whole body control framework that explicitly separates contact free body motion from contact rich hand manipulation. The contact free body and wrist are guided by kinematic pose targets, whereas the fingers are not directly supervised by human hand pose. Instead, they learn grasping and manipulation behaviors from object tracking and contact outcomes. Our key insight is that the wrist is the natural gate between these two regimes. It is largely free from contact and can be tracked kinematically, yet it determines the global hand configuration and places the fingers within reachable grasp affordances. To ensure reliable wrist placement during interaction, we introduce wrist specific reset constraints and reward prioritization. Experiments show that WristMimic matches or surpasses methods using full finger pose supervision while enabling finger agnostic retargeting across diverse hand embodiments.