DISEIL: Demonstration Distillation for Sample-Efficient Imitation Learning
作者: Suyog Khanal, Arun Kumar A, Santu Rana
分类: cs.RO, cs.AI, cs.LG
发布日期: 2026-09-08
💡 一句话要点
提出DISEIL以解决样本效率低下的模仿学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 样本效率 机器人学习 任务约束 失败模式识别
📋 核心要点
- 现有的模仿学习方法在决定何时中断学习者时存在局限，未能有效利用失败信息。
- DISEIL通过标记失败步骤并使用几何描述符来明确失败模式，从而优化请求示范的过程。
- 在五个模拟任务中，DISEIL通过调整请求内容显著提高了成功率，尤其在预算有限的情况下表现最佳。
📝 摘要（中文）
一台能够通过少量示范学习新任务的机器人需要自行判断尚未掌握的内容，并请求相应的帮助。交互式模仿学习朝着这一方向迈进，允许策略自主实践并在出错时呼叫专家。现有方法决定何时中断学习者，但在中断后还有两个决策未被充分利用：纠正哪个失败和示范从何处开始。本文首次尝试有意识地做出这两个决策。DISEIL（示范蒸馏以提高样本效率的模仿学习）在策略首次变得不可靠的步骤标记每个失败的回合，并用几何描述符表示该时刻，将失败分组为重复的失败模式。通过视觉-语言模型和语言模型读取选定模式并撰写下一次示范请求，任务约束存储检查请求的可执行性。实验结果显示，在五个模拟任务中，仅通过改变请求的内容，在所有十个设置中获得了最高的平均成功率。
🔬 方法详解
问题定义：本文旨在解决现有模仿学习方法在中断学习者时未能有效利用失败信息的问题。现有方法在决定何时中断时存在局限，导致学习效率低下。
核心思路：DISEIL的核心思路是通过标记策略首次变得不可靠的步骤，并用几何描述符表示该时刻，从而明确失败模式并优化示范请求的过程。这样设计的目的是为了提高样本效率，减少专家干预的次数。
技术框架：DISEIL的整体架构包括失败标记模块、几何描述符生成模块、模式识别模块和请求生成模块。失败标记模块负责识别不可靠步骤，几何描述符生成模块将失败时刻转化为可处理的描述，模式识别模块将失败分组为重复模式，请求生成模块则根据模式生成示范请求。
关键创新：DISEIL的主要创新在于有意识地标记失败步骤和生成几何描述符，这与现有方法的随机性和被动性形成鲜明对比。通过这种方法，学习者能够主动请求针对性的示范，从而提高学习效率。
关键设计：在技术细节上，DISEIL使用了视觉-语言模型和语言模型来解析失败模式，并生成请求。任务约束存储确保请求的可执行性，避免了不必要的专家干预。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在五个模拟任务中，DISEIL通过调整请求内容显著提高了成功率，在所有十个设置中获得了最高的平均成功率，尤其在预算有限的情况下，成功率提升幅度最大，显示出该方法的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括机器人学习、自动化任务执行和人机交互等。通过提高模仿学习的样本效率，DISEIL能够在实际应用中减少对专家的依赖，从而降低训练成本并加速机器人学习新任务的能力。未来，随着技术的进步，DISEIL有望扩展到更复杂的任务和动态环境中。
📄 摘要（原文）
A robot that can be taught a new task from a handful of demonstrations has to work out for itself what it still cannot do, and then ask for exactly that. Interactive imitation learning takes a step in that direction by letting a policy practice on its own and calling an expert when it goes wrong. Existing methods decide when to interrupt the learner. A further 2 decisions are left to whichever episode happened to trigger the interruption: which failure to correct, and where the demonstration should start. This paper is a first attempt at making both of them deliberately. DISEIL (Demonstration dIstillation for Sample-Efficient Imitation Learning) marks each failed episode at the step where the policy first becomes unreliable, represents that moment with a geometric descriptor, and groups the failures into recurring failure modes. A vision-language model and a language model read the selected mode and write a request for the next demonstration, and a store of task constraints checks that the request can be carried out before any expert time is spent. No model produces a robot action. Across 5 simulated tasks under state and image observations, changing only what the expert is asked for gives the highest mean held-out success rate in all 10 settings, with a tie in 1, and the margin is widest at the smallest budget we tested. The scope is narrow: a single round of practice at a time, in simulation, with experts that are mostly scripted. The longer-term aim is a learner that also tracks what its demonstration set already covers, and that asks a human teacher for the missing behavior in proportion to the effort each request costs them.