Dexterous Robot Manipulation from Human Demonstrations via Contact-Anchored Retargeting and Residual Policy Learning
作者: Zihao Yang, Chengyuan Liu, Yu Zhou, Runze Lv, Tianyu Cui, Sheng Yi, Haohua Zhu, Irvine Lu, JieQ Sun
分类: cs.RO
发布日期: 2026-09-21
备注: 16 pages, 6 figures, 5 tables. Technical report. Code: https://github.com/DexGEM-Lab/real2sim2real
💡 一句话要点
提出一种新方法以解决人类示范数据不足的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 灵巧操作 人类示范 接触力学习 残差强化学习 机器人手 策略迁移 物理一致性
📋 核心要点
- 核心问题：现有方法在灵巧操作学习中缺乏有效的接触力数据，导致抓取成功率低。
- 方法要点：提出三阶段管道，通过接触结构转移和残差策略学习，将人类示范转化为机器人操作策略。
- 实验或效果：在无真实机器人训练数据的情况下，成功率从7.3%提升至59.3%，双手任务成功率从16.0%提升至62.4%。
📝 摘要（中文）
学习灵巧操作的过程受到数据瓶颈的限制，尤其是缺乏决定抓取成功的接触力信息。本文基于两个观察提出了一种三阶段管道，将人类运动捕捉记录转换为灵巧机器人策略。首先，接触结构在从人手到机器人手的转变中得以保留。其次，通过训练一次的残差强化学习策略，可以将运动记录修复为物理一致的接触注释轨迹。该方法在没有真实机器人训练数据的情况下，成功重建了25454个单手轨迹和25个双手任务，显著提升了成功率。
🔬 方法详解
问题定义：本文旨在解决灵巧操作学习中缺乏接触力数据的问题。现有方法通常依赖于人类示范，但未能有效捕捉到抓取成功所需的接触力信息，导致机器人操作的成功率低下。
核心思路：论文提出的核心思路是保留示范中的接触结构，而非关节运动。通过训练一个残差强化学习策略，可以将运动记录修复为物理一致的轨迹，从而实现有效的操作策略转化。
技术框架：整体架构分为三个主要阶段：第一阶段使用模拟的MANO手进行物理修正，恢复接触和力；第二阶段通过接触锚定重定向将示范的接触结构转移；第三阶段应用残差策略学习，适应机器人执行。
关键创新：最重要的技术创新在于提出了一种无需真实机器人训练数据的管道，利用残差强化学习策略修复运动轨迹，实现了跨不同机器人手的策略迁移。
关键设计：在设计中，采用了接触注释的轨迹重建方法，损失函数结合了物理一致性和接触结构的保留，网络结构则基于现有的强化学习框架进行优化。通过这些设计，确保了策略的有效性和适应性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，单手任务的成功率从7.3%提升至59.3%，双手任务的成功率从16.0%提升至62.4%。该方法在不同形态的机器人手之间实现了策略迁移，成功执行了四个接触丰富的双手任务，展现了其强大的适应性和有效性。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等。通过有效学习灵巧操作，机器人能够在复杂环境中执行多种任务，提升工作效率和安全性。未来，该方法有望推动机器人技术在更多实际场景中的应用。
📄 摘要（原文）
Learning dexterous manipulation from demonstrations is bottlenecked by data: the contact forces that determine whether a grasp succeeds are absent from every scalable source of human demonstrations. This paper builds on two observations. First, what survives the change from a human hand to a robot hand is the contact structure of a demonstration - which finger regions touch which object locations, and in what order - rather than its joint motion. Second, physical consistency need not be engineered per task: a single residual reinforcement learning (RL) policy, trained once across diverse demonstrations, can repair kinematic recordings into physically consistent, contact-annotated trajectories, and the same residual formulation restores dynamic feasibility after retargeting. These observations yield a three-stage pipeline that converts human motion-capture recordings into dexterous robot policies with no real-robot training data: physics refinement with a simulated MANO hand recovers contacts and forces, contact-anchored retargeting transfers the demonstrated contact structure through an objective independent of hand morphology, and residual policy learning adapts the result to robot actuation. The pipeline reconstructs 25,454 single-hand trajectories (success 7.3% -> 59.3%) and 25 dual-hand tasks (16.0% -> 62.4%) with one shared policy per setting, transfers one human dataset to four morphologically distinct robot hands (+62.4 pp), and executes four contact-rich bimanual tasks on physical hardware with zero real-robot training data.