\textsc{Gen2Real}: Towards Demo-Free Dexterous Manipulation by Harnessing Generated Video
作者: Kai Ye, Yuhang Wu, Shuyuan Hu, Junliang Li, Meng Liu, Yongquan Chen, Rui Huang
分类: cs.RO
发布日期: 2025-09-16
💡 一句话要点
Gen2Real：利用生成视频实现免示教的灵巧操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 灵巧操作 机器人学习 生成视频 示教学习 物理感知 轨迹优化 免示教学习
📋 核心要点
- 灵巧操作面临人工示教数据收集困难的挑战，限制了机器人技能的学习。
- Gen2Real利用生成视频替代人工示教，结合视频生成、轨迹优化和示教学习，实现机器人技能学习。
- 实验表明，仅使用生成视频，该方法在模拟抓取任务中达到77.3%的成功率，并在真实机器人上表现出连贯性。
📝 摘要（中文）
本文提出Gen2Real，通过生成视频替代昂贵的人工示教，驱动机器人技能学习。该方法结合了视频生成、姿态和深度估计，生成手-物轨迹；利用物理感知交互优化模型(PIOM)进行轨迹优化，保证物理一致性；通过示教学习将人类动作迁移到机器人手上，并使用基于锚点的残差近端策略优化(PPO)策略稳定控制。仅使用生成的视频，学习到的策略在模拟环境中实现了77.3%的抓取成功率，并在真实机器人上展示了连贯的执行效果。消融实验验证了每个组件的贡献，并展示了使用自然语言直接指定任务的能力，突出了Gen2Real在将想象视频中的抓取技能推广到真实世界执行中的灵活性和鲁棒性。
🔬 方法详解
问题定义：灵巧操作任务中，获取大量高质量的人工示教数据成本高昂，限制了基于示教学习的机器人技能发展。现有方法依赖于真实世界的数据采集，难以扩展到复杂或危险的场景。
核心思路：Gen2Real的核心在于利用生成模型生成操作视频，并从中提取手-物交互轨迹，作为机器人学习的示教数据。通过这种方式，避免了对真实人工示教的依赖，降低了数据采集成本，并为机器人技能学习提供了更大的灵活性。
技术框架：Gen2Real包含三个主要阶段：1) 演示生成：利用视频生成模型，结合姿态和深度估计，生成手-物交互轨迹。2) 轨迹优化：使用物理感知交互优化模型(PIOM)对生成的轨迹进行优化，保证物理一致性。3) 示教学习：将人类动作迁移到机器人手上，并使用基于锚点的残差近端策略优化(PPO)策略稳定控制。
关键创新：Gen2Real的关键创新在于利用生成视频作为示教数据，并结合物理感知的轨迹优化，实现了免示教的灵巧操作学习。与传统方法相比，该方法无需人工示教，降低了数据采集成本，并提高了学习的灵活性和泛化能力。
关键设计：PIOM模型用于保证轨迹的物理一致性，通过引入物理约束，避免了生成轨迹的不合理性。基于锚点的残差PPO策略用于稳定控制，通过引入锚点，提高了控制的鲁棒性。此外，论文还探索了使用自然语言直接指定任务的可能性，进一步提高了方法的灵活性。
🖼️ 关键图片
📊 实验亮点
Gen2Real在模拟环境中实现了77.3%的抓取成功率，并在真实机器人上展示了连贯的执行效果。消融实验验证了PIOM和残差PPO策略的有效性。此外，该方法还展示了使用自然语言直接指定任务的能力，突出了其灵活性和鲁棒性。这些结果表明，Gen2Real是一种有前景的免示教灵巧操作学习方法。
🎯 应用场景
Gen2Real具有广泛的应用前景，可应用于工业自动化、医疗机器人、家庭服务机器人等领域。该方法可以降低机器人技能学习的成本，提高机器人的灵活性和适应性，使其能够更好地完成各种复杂的操作任务。此外，该方法还可以用于生成虚拟训练数据，加速机器人技能的开发和部署。
📄 摘要（原文）
Dexterous manipulation remains a challenging robotics problem, largely due to the difficulty of collecting extensive human demonstrations for learning. In this paper, we introduce \textsc{Gen2Real}, which replaces costly human demos with one generated video and drives robot skill from it: it combines demonstration generation that leverages video generation with pose and depth estimation to yield hand-object trajectories, trajectory optimization that uses Physics-aware Interaction Optimization Model (PIOM) to impose physics consistency, and demonstration learning that retargets human motions to a robot hand and stabilizes control with an anchor-based residual Proximal Policy Optimization (PPO) policy. Using only generated videos, the learned policy achieves a 77.3\% success rate on grasping tasks in simulation and demonstrates coherent executions on a real robot. We also conduct ablation studies to validate the contribution of each component and demonstrate the ability to directly specify tasks using natural language, highlighting the flexibility and robustness of \textsc{Gen2Real} in generalizing grasping skills from imagined videos to real-world execution.