DiscoDemo: Discovering Efficient and Diverse Robot Demonstrations for Imitation Learning
作者: Minho Park, Kinam Kim, Donghu Kim, Byungkun Lee, Dongyoon Hwang, Yongjae Shin, Junha Hyung, Hojoon Lee, Jaegul Choo
分类: cs.RO
发布日期: 2026-10-23
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出DiscoDemo以解决机器人模仿学习中的演示多样性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 模仿学习 强化学习 多样性优化 数据生成
📋 核心要点
- 现有的行为克隆方法在训练数据的多样性和覆盖度上存在显著不足，导致模仿学习效果不佳。
- 论文提出DiscoDemo，通过强化学习生成多样化的成功演示，旨在提高模仿学习的效果和成功率。
- 实验结果表明，DiscoDemo在模拟环境中成功率从40%提升至62%，在真实机器人上从39%提升至78%，显著改善了下游策略性能。
📝 摘要（中文）
机器人操作中的行为克隆对训练数据的覆盖度高度敏感，但收集多样化的成功演示成本高昂。本文研究将强化学习视为下游视觉运动模仿学习的数据生成器，而非可部署的控制器。我们提出DiscoDemo，通过特权潜在条件强化学习生成器，结合并行逆课程和成功门控多样性目标，发现多样化的解决方案，同时保持任务成功率。经过四个操作任务的实验，DiscoDemo在模拟和真实环境中均提高了下游视觉运动策略的成功率，显示出成功解决方案的多样性对模仿学习的积极影响。
🔬 方法详解
问题定义：本文旨在解决机器人模仿学习中由于训练数据覆盖不足导致的性能瓶颈。现有方法往往依赖于重复收集单一解决方案，缺乏多样性，限制了学习效果。
核心思路：DiscoDemo的核心思路是利用强化学习作为数据生成器，通过多样化的成功解决方案覆盖更广泛的成功轨迹，从而提升模仿学习的效果。
技术框架：整体架构包括一个特权潜在条件的强化学习生成器，结合并行逆课程和成功门控多样性目标。生成器输出多个成功的闭环行为，这些行为经过安全过滤后形成静态数据集供下游模仿学习使用。
关键创新：DiscoDemo的创新在于其成功门控多样性目标和并行逆课程的结合，能够有效发现多样化的解决方案，并保持任务成功率，这与传统方法的单一解决方案收集方式有本质区别。
关键设计：在设计中，采用了特权潜在条件来引导生成器，设置了多样性损失函数以鼓励生成多样化的行为，同时确保成功率不下降。
🖼️ 关键图片
📊 实验亮点
在实验中，DiscoDemo在模拟环境中成功率从40%提升至62%，在真实机器人上成功率从39%提升至78%。这些结果表明，成功解决方案的多样性显著改善了模仿学习的效果，超越了最强基线。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化生产线和人机协作等场景。通过提高模仿学习的成功率和多样性，DiscoDemo能够在实际应用中提升机器人在复杂任务中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Behavior cloning for robotic manipulation is highly sensitive to the coverage of its training data, yet collecting diverse successful demonstrations remains costly. We study reinforcement learning (RL) not as a deployable controller, but as a data generator for downstream visuomotor imitation learning. Our key premise is that multiple successful solution modes cover a broader range of successful trajectories than repeatedly collecting a single narrow solution. We introduce DiscoDemo, which trains a privileged latent-conditioned RL generator with a parallel reverse curriculum and a success-gated diversity objective to discover diverse solutions while preserving task success. The trained generator produces multiple successful closed-loop behaviors, which are safety-filtered and exported as a static dataset for downstream imitation learning. Across four manipulation tasks, DiscoDemo produces broader successful-state coverage and improves downstream visuomotor policies in both simulation and the real world. Averaged across tasks, downstream success increases to 62% from 40% for the strongest baseline in simulation, and to 78% from 39% on the real robot, respectively. These results suggest that successful solution diversity improves imitation learning for a pretrained flow-matching VLA and remains complementary to corrective data collection. Project page: https://davian-robotics.github.io/DiscoDemo