Dexterity from Supervised Play
作者: Botao He, Yiming Dou, Yiannis Aloimonos, Jitendra Malik, Akash Sharma, Ruoshi Liu
分类: cs.RO, cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出DSP框架以解决机器人自主学习灵巧操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 灵巧操作 行为克隆 模型预测控制 自我游戏 机器人学习 数据效率 世界模型
📋 核心要点
- 现有方法在机器人灵巧操作中面临自主收集接触经验的挑战，导致学习效率低下。
- 论文提出DSP框架，通过行为克隆从人类游戏中学习策略，并利用该策略收集交互数据以训练世界模型。
- 实验结果表明，该框架在现实世界中成功率比回溯行为克隆提高69.6%，且交互数据需求显著降低。
📝 摘要（中文）
如何让机器人自主收集学习灵巧操作所需的丰富接触经验？我们提出了DSP（从监督游戏中学习灵巧性）框架，该框架通过行为克隆从人类游戏中学习策略，然后自主部署以收集交互数据以训练世界模型。在推理过程中，使用相同的游戏策略指导模型预测控制（MPC），并在学习的世界模型下评估候选动作序列。为加速推理，我们还引入了一种通过自我游戏在学习的世界模型中提炼闭环目标条件策略的方法。我们在仿真和现实世界中评估了该框架，结果显示在现实实验中，我们的方法在成功率上比回溯行为克隆提高了69.6%，并且在交互数据量上比强化学习减少了490倍。这些结果表明，监督游戏可以自主收集交互数据，指导基于模型的规划，并在没有任务特定演示或模拟到现实的转移的情况下实现策略学习。
🔬 方法详解
问题定义：本论文旨在解决机器人在灵巧操作中自主收集接触经验的难题。现有方法往往依赖于大量的任务特定演示或模拟到现实的转移，效率低下且不够灵活。
核心思路：论文的核心思路是通过监督学习从人类的游戏行为中提取策略，并利用该策略进行自主数据收集和模型训练。这样的设计使得机器人能够在没有大量示范的情况下，快速学习并适应复杂的操作任务。
技术框架：整体架构包括三个主要模块：首先，通过行为克隆从人类游戏中学习策略；其次，利用学习到的策略收集交互数据以训练世界模型；最后，在推理阶段，使用模型预测控制（MPC）来评估候选动作序列。
关键创新：最重要的技术创新在于引入了自我游戏的策略蒸馏方法，使得机器人能够在学习的世界模型中生成闭环、目标条件的策略。这一方法显著提高了推理效率，并减少了对交互数据的需求。
关键设计：在技术细节上，论文设计了特定的损失函数以优化行为克隆过程，并采用了多指手的结构来实现复杂的操作任务。此外，模型的训练过程中还考虑了不同的参数设置，以确保学习效果的最大化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DSP框架在现实世界中的成功率比回溯行为克隆提高了69.6%，并且在交互数据需求上比强化学习减少了490倍。这表明该方法在数据效率和学习效果上具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括服务机器人、工业自动化和人机协作等场景。通过自主学习灵巧操作，机器人能够在复杂环境中更灵活地执行任务，提升工作效率，减少人力成本。未来，该技术可能推动机器人在更多实际应用中的普及与发展。
📄 摘要（原文）
How can robots autonomously collect the contact-rich experience needed to learn dexterous manipulation? We present DSP: Dexterity from supervised play, a framework in which a robot learns a play policy from minutes of human play through behavior cloning, then deploys it autonomously to collect hours of interaction data to train a world model. During inference, the same play policy then guides model-predictive control (MPC) by proposing candidate action sequences for evaluation under the learned world model. To accelerate inference, we also introduce a method for distilling a closed-loop, goal-conditioned policy through self-play within the learned world model. We evaluate this framework on underactuated pushing and any-to-any in-hand pose reorientation with a multifingered hand, in simulation and real world. In real world experiment, our method outperforms hindsight behavior cloning by 69.6% in success rate and achieves comparable success to reinforcement learning with 490 times less interaction data. These results demonstrate that supervised play can autonomously collect interaction data, guide model-based planning, and enable policy learning without any task-specific demonstrations or sim-to-real transfer.