FlashDexRetarget: Accelerating Dexterous Manipulation Data Generation through Multi-Motion Retargeting
作者: Kyungmin Lee, Sibeen Kim, Dongyoon Hwang, Yoonsang Oh, Donghu Kim, Youngdo Lee, I Made Aswin Nahrendra, Jaegul Choo, Hojoon Lee
分类: cs.RO
发布日期: 2026-10-01
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出FlashDexRetarget以解决灵巧操控数据生成效率低下问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 灵巧操控 强化学习 数据重定向 机器人技术 物体识别 多特征融合 成功率提升
📋 核心要点
- 现有的物理基础重定向方法在成功率和训练效率上存在显著不足，限制了灵巧操控的应用。
- 本文提出FlashDexRetarget，通过结合多种特征和奖励机制，提升了灵巧运动的重定向效率和成功率。
- 在50种动作的基准测试中，FlashDexRetarget实现了90%的成功率，训练计算需求显著降低，表现优于现有方法。
📝 摘要（中文）
人类手部与物体的演示为灵巧机器人操控数据提供了可重用的来源，但在不同实体间转移时需要物理可行的重定向。现有的基于物理的方法在重定向成功率和运动特定训练效率上存在局限。为了解决这些问题，本文提出了FlashDexRetarget，一个基于强化学习的框架，旨在实现高成功率和高效的灵巧运动重定向。通过结合物体点云观察、手物体距离特征和未来轨迹编码，并使用互补奖励来监督物体运动和参考手物体关系，简化了学习过程。实验表明，FlashDexRetarget在50种动作的基准测试中实现了90%的成功率，约为评估的采样基线的2.5倍，同时训练计算需求减少了100倍。
🔬 方法详解
问题定义：本文旨在解决灵巧操控数据生成中的重定向效率低和成功率不足的问题。现有方法在不同实体间转移时面临物理可行性和训练效率的双重挑战。
核心思路：FlashDexRetarget通过强化学习框架，结合物体点云、手物体距离特征和未来轨迹编码，设计互补奖励机制来简化学习过程，从而提高重定向的成功率和效率。
技术框架：该框架包括左手和右手的独立演员-评论家网络，采用改进的离线策略算法FlashSAC，专注于灵巧运动跟踪。整体流程包括数据采集、特征提取、奖励设计和策略优化等多个模块。
关键创新：最重要的创新在于通过多特征融合和互补奖励机制，显著提升了重定向的成功率和训练效率，与传统物理基础方法形成鲜明对比。
关键设计：在网络结构上，采用了分开的左手和右手网络，优化了损失函数以适应灵巧运动的特性，并通过实验验证了设计选择的有效性。具体参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
在50种动作的基准测试中，FlashDexRetarget达到了90%的成功率，约为评估的采样基线的2.5倍，同时训练计算需求减少了100倍。该方法在XHand和Sharpa Wave Hand上的评估结果也显示出一致的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、服务机器人和人机交互等。通过提高灵巧操控的效率和成功率，FlashDexRetarget能够推动机器人在复杂环境中的自主操作能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Human hand-object demonstrations offer a reusable source of dexterous robot manipulation data, but transferring them across embodiments requires physically feasible retargeting. Existing physics-based approaches face limitations in retargeting success, motion-specific training efficiency, or both. To address these limitations, we introduce FlashDexRetarget, an RL-based framework for high-success, efficient dexterous motion retargeting. To make the demonstrated interaction easier to learn, we combine object point-cloud observations, hand-object distance features, and future trajectory encodings with complementary rewards that supervise object motion and reference hand-object relationships. To further accelerate learning, we employ separate left- and right-hand actor critic networks and adapt the off-policy algorithm, FlashSAC to dexterous motion tracking. On a benchmark of 50 motions spanning single-object and two-object interactions, FlashDexRetarget achieves a 90% success rate, approximately 2.5x that of the evaluated sampling-based baselines, while requiring up to 100x less training compute than the evaluated RL-based baselines. Evaluations on both XHand and Sharpa Wave Hand show consistent gains, and component-wise ablations examine the contributions of our design choices. Beyond the 50-motion benchmark, experiments with 200, 500, and 1,000 motions demonstrate that our method remains stable at larger scales and produces successful retargeted motions more efficiently as the training set grows. Qualitative replay results using real-world-captured demonstrations further illustrate the applicability of our framework to recorded human manipulation. Videos and code are available at https://davian-robotics.github.io/FlashDexRetarget/