RoboCoach: World Models as Active Coaches for Compositional Robot Skills
作者: Jiajun Liu, Yifan Chen, Yichao Liu, Jiayi Zhang, Ruoqu Chen, Shaoxuan Xie, Guocai Yao, Mengdi Xu, Sen Cui, Changshui Zhang
分类: cs.RO, cs.AI
发布日期: 2026-09-30
备注: https://robocoach-ai.github.io/
💡 一句话要点
提出RoboCoach以解决长时间机器人操作技能组合问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人操作 世界模型 技能组合 自我改进 任务学习 模块化策略 深度学习
📋 核心要点
- 现有的机器人操作方法在长时间任务中难以高效重用技能，且额外的演示成本高昂。
- RoboCoach通过世界模型引导的教练框架，利用想象中的失败来优化演示请求和专家更新。
- 实验结果显示，RoboCoach在多个平台上显著提升了任务成功率，证明了其有效性。
📝 摘要（中文）
长时间的机器人操作需要在多个任务组合中重用技能，但通过额外的端到端演示来改善这些组合的成本较高。RoboCoach是一个基于世界模型的指导框架，利用想象中的失败来指导演示请求和专家更新。其RIDI循环在共享的动作条件世界模型COACHWORLD中执行可重用的技能专家，并使用进度判断器记录第一个未能完成的子任务。实验表明，想象的成功与实际部署的成功在22个任务策略对中具有较高的相关性。通过仅增加150个子任务演示，Franka的成功率从13.3%提升至75.0%，AgileX则从40.0%提升至83.8%。
🔬 方法详解
问题定义：本论文旨在解决长时间机器人操作中技能组合的效率问题，现有方法在面对复杂任务时，往往无法有效利用已有技能，且额外的演示成本高昂。
核心思路：RoboCoach通过构建一个基于世界模型的教练系统，利用想象中的失败来指导下一步的学习和演示请求，从而实现自我改进。这样的设计使得系统能够在不增加过多成本的情况下，优化学习过程。
技术框架：RoboCoach的整体架构包括RIDI循环，具体流程为：首先在COACHWORLD中执行可重用的技能专家，然后通过进度判断器记录未完成的子任务，最后根据记录选择需要获取的演示和更新的专家适配器。
关键创新：RoboCoach的创新之处在于将想象中的失败转化为针对性的监督，显著提升了模块化策略的改进效率。这一方法与传统的基于随机演示的学习方式有本质区别。
关键设计：在设计中，RoboCoach使用了特定的参数设置和损失函数，以确保在不同任务组合中能够有效地选择和更新专家适配器。具体的网络结构和训练细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RoboCoach在Franka和AgileX平台上的成功率分别从13.3%提升至75.0%和从40.0%提升至83.8%。此外，经过指导的专家在四个未见过的任务组合中也取得了35.0%的平均成功率，相较于基线的0%有显著提升，验证了其有效性。
🎯 应用场景
RoboCoach的研究成果在机器人操作、自动化制造和智能家居等领域具有广泛的应用潜力。通过提高机器人在复杂任务中的学习效率，该系统能够显著降低人力成本，并提升机器人在动态环境中的适应能力，未来可能推动更智能的机器人系统的发展。
📄 摘要（原文）
Long-horizon robot manipulation reuses skills across many task compositions, but improving these compositions with additional end-to-end demonstrations is costly. A practical self-improving system must decide both what to teach next and where to apply that supervision. We present ROBOCOACH, a world-model-guided coaching framework that uses imagined failures to guide demonstration requests and expert updates. Its Route-Imagine-Diagnose-Improve (RIDI) loop executes reusable skill experts inside COACHWORLD, our shared action-conditioned world model, and uses a progress judge to record the first subtask that fails to complete. Aggregated records select which subtask demonstrations to acquire and which expert adapters to update. Across two simulation suites and two real-robot platforms, imagined and deployed success correlate over 22 task-policy pairs (rho = 0.840). Controlled comparisons show that our coaching method outperforms matched baselines under matched data budgets and update schedules. With only 150 additional subtask demonstrations, success rises from 13.3% to 75.0% on Franka and from 40.0% to 83.8% on AgileX. The coached experts also transfer to four held-out compositions, achieving an average success of 35.0%, compared with 0% for a shared-policy baseline updated with uniformly acquired demonstrations. Together, these results show that world models can serve as active coaches, turning imagined failures into targeted supervision for modular policy improvement. Project Page: https://robocoach-ai.github.io/