Dex-One2Many: Learning Dexterous Manipulation from a Single Human Demonstration

📄 arXiv: 2610.12470v1 📥 PDF

作者: Jusuk Lee, Sungha Kim, Yeonsoo Park, Jonguk Cheon, Yoonkyo Jung, Yongjun You, H. Jin Kim, Jia-Bin Huang, Furong Huang, Youngseok Jang, Seungjae Lee

分类: cs.RO, cs.CV

发布日期: 2026-10-08

备注: Project page: https://dex-one2many.github.io/

💡 一句话要点

提出Dex-One2Many以解决单一人类示范学习的泛化与探索问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 灵巧操作 强化学习 场景图 机器人技术 泛化能力 多指手 人类示范 探索策略

📋 核心要点

  1. 现有方法在学习灵巧操作时，往往仅依赖于模仿示范，导致对未展示情况的泛化能力不足。
  2. Dex-One2Many通过将视频抽象为顺序场景图，指导强化学习，解决了泛化与探索的挑战。
  3. 在五个工具使用和操作任务中，Dex-One2Many在已见配置上超越基线6.5%，在未见场景中提升至71%。

📝 摘要（中文）

在从单一人类视频学习灵巧操作的过程中，许多现有方法主要依赖于模仿示范动作，这种严格的动作匹配限制了对未展示的初始物体姿态、目标姿态和抓取方式的泛化。相对而言，通过强化学习（RL）发现策略可以实现广泛的泛化，但在复杂的多阶段任务中缺乏先前指导时，往往难以进行高维探索。为了解决这些相互关联的泛化和探索挑战，本文提出了Dex-One2Many，这是一种从单一人类视频学习可泛化灵巧操作策略的真实-仿真-真实框架。我们的关键见解是将视频抽象为顺序场景图，以指导RL，从而实现高效探索并保持广泛的泛化能力。

🔬 方法详解

问题定义：本文旨在解决从单一人类示范视频学习灵巧操作时的泛化与探索问题。现有方法往往依赖于严格的动作匹配，导致对新情况的适应能力不足。

核心思路：Dex-One2Many的核心思路是将示范视频抽象为顺序场景图，这些图能够有效指导强化学习过程，促进高效探索并保持广泛的泛化能力。

技术框架：该框架包括三个主要阶段：首先，从人类示范视频中提取场景图；其次，利用这些图指导强化学习策略的训练；最后，将训练好的策略无缝转移到真实的多指手上。

关键创新：Dex-One2Many的最大创新在于使用场景图作为生成约束，允许在未展示的物体姿态和抓取方式上进行探索，这与传统的动作模仿方法本质上有所区别。

关键设计：在设计中，场景图不仅约束了物体之间的关系，还提供了每个阶段的密集奖励，确保了探索过程的高效性和引导性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Dex-One2Many在五个工具使用和操作任务中，已见配置的表现超越基线6.5%，而在未见场景中的泛化能力提升至71%，显示出其在复杂任务中的优越性和鲁棒性。

🎯 应用场景

该研究在机器人灵巧操作领域具有广泛的应用潜力，尤其是在需要快速适应新环境和任务的场景中。Dex-One2Many可以应用于服务机器人、工业自动化以及人机协作等领域，未来可能推动灵巧机器人技术的普及与发展。

📄 摘要（原文）

While learning dexterous manipulation from a single human video offers a promising alternative to costly robot demonstrations, many recent methods predominantly imitate demonstrated motions. Such strict motion matching often limits generalization to initial object poses, goal poses, and grasps not shown in the video. Alternatively, discovering a policy via reinforcement learning (RL) allows for broad generalization, but without prior guidance, it struggles with high-dimensional exploration in complex, multi-stage tasks. To address these coupled generalization and exploration challenges, we present Dex-One2Many, a real-to-sim-to-real framework that learns a generalizable dexterous manipulation policy from a single human video. Our key insight is to abstract the video into sequential scene graphs that guide RL, enabling efficient exploration while preserving broad generalizability. The graphs serve as generative constraints for sampling diverse reset states and provide dense rewards for each stage. Because the graphs constrain relations rather than exact poses, these reset states cover object poses and grasps beyond the video, while initializing each stage from them with dense rewards keeps exploration short and guided. Trained entirely in simulation, Dex-One2Many transfers zero-shot to a real multi-fingered hand. Across five tool-use and manipulation tasks, Dex-One2Many exceeds baselines by 6.5% in seen configurations, while its robust generalization widens this gap to 71% in unseen scenarios.