Generative Neural Retargeting for Human-to-Robot Dexterous Manipulation

📄 arXiv: 2610.12440v1 📥 PDF

作者: Dechen Gao, Yue Yang, Ben Abbatematteo, Nathan Godwin, Pengcheng Wang, Roger Boldu, Steven Man, Zhiyang Dou, Chuan Qin, Sho Nakagome, Eric Whitmire

分类: cs.RO

发布日期: 2026-10-08

💡 一句话要点

提出生成神经重定向方法以解决人机灵巧操作问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 生成模型 神经网络 灵巧操作 人机协作 动态重定向 强化学习 模型预测控制

📋 核心要点

  1. 现有方法在将人类动作重定向到机器人时面临动态性不足和样本效率低的问题，导致生成的动作往往不可行。
  2. 论文提出生成神经重定向（GNR），通过假设动态可行轨迹集中在共享的低维流形上，从而简化重定向过程，避免每次都进行全新优化。
  3. 实验结果表明，GNR在样本使用上仅需MPC的8.5%，成功率为56.20%，显著优于MPC的27.20%。

📝 摘要（中文）

人类示范是学习灵巧操作的可扩展数据源，但由于体现差距，无法直接在机器人上执行人类动作。逆向运动学（IK）虽然能高效重定向人类动作，但忽略了动态性，常导致不可行的动作。强化学习（RL）和基于采样的模型预测控制（MPC）常用于生成动态可行的动作，但样本效率低且对超参数敏感。本文提出生成神经重定向（GNR），通过流匹配模型从低维流形中采样可行轨迹，显著提高了重定向效率，成功率达到56.20%。

🔬 方法详解

问题定义：本论文旨在解决人类示范在机器人灵巧操作中的重定向问题，现有方法如逆向运动学（IK）和模型预测控制（MPC）存在动态性不足和样本效率低的问题，导致生成的动作往往不可行。

核心思路：论文提出生成神经重定向（GNR），假设动态可行的轨迹集中在一个低维流形上，通过从该流形中采样来实现重定向，避免了每次都进行全新优化的问题。

技术框架：GNR的整体架构包括流匹配模型作为核心模块，首先通过人类示范数据学习低维流形，然后在该流形上进行条件采样以生成可行轨迹。

关键创新：GNR的核心创新在于通过流匹配模型实现从低维流形的采样，显著提高了重定向的效率和成功率，与传统的MPC方法相比，减少了样本需求并提高了动态可行性。

关键设计：在模型设计上，GNR采用了特定的损失函数以优化流匹配过程，并在网络结构上进行了调整，以适应大规模长时间的人类示范数据集的处理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GNR在样本使用上仅需MPC的8.5%，成功率达到56.20%，而MPC的成功率仅为27.20%。这一显著提升表明GNR在动态可行轨迹生成方面的优势，具有重要的实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括机器人抓取、装配和其他需要精确控制的灵巧操作任务。通过提高人类示范的重定向效率，GNR可以在工业自动化、服务机器人等领域发挥重要作用，推动人机协作的进步。

📄 摘要（原文）

Human demonstrations are a scalable data source for learning dexterous manipulation, but the embodiment gap prevents human motion from being executed directly on robots. Inverse kinematics (IK) retargets human motion to robots efficiently but ignores dynamics, often producing infeasible motions. Reinforcement learning (RL) and sampling-based model predictive control (MPC) are commonly employed to yield dynamically feasible motions, but both are sample-inefficient and sensitive to hyperparameters. RL suffers from costly and unstable training and tedious reward engineering; MPC avoids policy optimization, yet retargets each trajectory in isolation, and solving one does not make the next easier. Sampling cost grows rapidly with dataset size and task difficulty. We hypothesize that dynamically feasible trajectories concentrate near a low-dimensional manifold shared across demonstrations, so that retargeting can be reduced to sampling from that manifold, conditioned on human motion, rather than solving a fresh optimization problem for every demonstration. We propose \textbf{Generative Neural Retargeting} (GNR), which uses a flow matching model to sample feasible trajectories. GNR outperforms MPC with only $8.5\%$ of the samples required by MPC, achieving a success rate of $56.20\%$ compared to $27.20\%$ for MPC. GNR can be used for scalable and efficient retargeting of large-scale, long-horizon, and millimeter precision human demonstrations: by applying GNR within a real-to-sim data engine, we produce a dexterous manipulation dataset with dense contact-force labels, spanning $223$k demonstrations and $3.3$k object geometries.