Mulligan: Performance-Guided Data Collection for Efficient On-Robot Learning
作者: Lars Ankile, Perry Dong, Rohan Bhowmik, Aneesh Muppidi, David D. Yuan, Shuran Song, Chelsea Finn
分类: cs.RO, cs.LG
发布日期: 2026-10-05
备注: Project page: https://mulligan.page/
💡 一句话要点
提出Mulligan以解决机器人学习中的数据收集效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人学习 数据收集 高精度操作 交互模仿学习 价值函数 状态选择 监督部署
📋 核心要点
- 现有方法在高精度操作任务中，随着策略的改进，示范的边际收益逐渐降低，导致数据收集效率低下。
- Mulligan通过将初始状态分布作为决策，优先选择失败状态和未尝试状态，提升数据收集的有效性。
- 在2,550个真实任务的实验中，Mulligan在相同预算下表现优于均匀采样，最终成功率提升10-34个百分点。
📝 摘要（中文）
从人类示范中学习是教导机器人新任务的可靠方法，但随着策略的改进，每增加一个示范的收益会逐渐减小。持续改进可以通过监督部署实现，操作员在策略失败时进行干预。本文探讨如何在固定的监督集预算下，最大化高精度操作任务中的改进。研究发现，失败往往集中在少数初始状态上，因此均匀采集会浪费大量时间在策略已能处理的状态上。Mulligan将初始状态分布作为决策，开始每轮的实验于观察到的失败和未尝试的状态。通过增强交互模仿学习与训练在所有数据上的价值函数，Mulligan在多个真实和模拟任务中超越了均匀初始状态采样，结合基于价值的动作选择，最终成功率提升了10-34个百分点。
🔬 方法详解
问题定义：本文旨在解决在固定预算下，如何有效收集数据以提升机器人在高精度操作任务中的学习效率。现有方法在均匀采集初始状态时，往往浪费时间在策略已能处理的状态上，导致数据收集效率低下。
核心思路：Mulligan的核心思路是将初始状态分布作为决策，优先选择在先前实验中观察到的失败状态和未尝试的状态，以最大化数据收集的有效性。通过这种方式，能够集中资源在最具挑战性的状态上，从而加速学习过程。
技术框架：Mulligan的整体架构包括数据收集模块、状态选择模块和交互模仿学习模块。数据收集模块负责从操作员处获取反馈，状态选择模块根据历史数据选择初始状态，而交互模仿学习模块则利用所有数据（包括失败案例）来训练价值函数。
关键创新：Mulligan的主要创新在于将初始状态的选择与数据收集过程结合起来，形成了一种动态调整的策略。这种方法与传统的均匀采样方法本质上不同，后者未能有效利用失败信息。
关键设计：在技术细节上，Mulligan采用了基于价值的动作选择策略，并在损失函数中引入了对失败案例的重视，以确保模型在学习过程中充分利用所有可用数据。
🖼️ 关键图片
📊 实验亮点
在实验中，Mulligan在2,550个真实任务的评估中，超越了均匀初始状态采样，成功率提升了10-34个百分点。结合价值基础的动作选择，HiL-IDQL+Mulligan方法使得人机团队在98%的实验中完成数据收集，保持高效的学习过程。
🎯 应用场景
该研究的潜在应用领域包括工业机器人、服务机器人以及任何需要高精度操作的自动化系统。通过提高数据收集的效率，Mulligan能够加速机器人学习新任务的过程，降低人工干预的需求，从而提升整体生产力和安全性。未来，该方法可能会在更多复杂环境中得到应用，推动机器人技术的进一步发展。
📄 摘要（原文）
Learning from human demonstrations is a reliable way to teach robots new tasks, but the gains from each additional demonstration shrink as the policy improves. Continued improvement can instead come from supervised deployment, where an operator places the objects and intervenes when the policy fails. We ask how to maximize improvement from a fixed budget of supervised episodes on high-precision manipulation tasks with wide ranges of object placements. We observe that failures can concentrate in a small subset of initial states, so uniform collection spends much of the operator's time on states the policy already handles. Mulligan makes the initial-state distribution a decision, starting each round's episodes at observed failures and untried states. To further improve data efficiency, we augment interactive imitation learning with a value function trained on all data, including failures that imitation discards. Across three real-world tasks evaluated on 2,550 held-out, blinded episodes and two simulated tasks, Mulligan outperforms uniform initial-state sampling at matched collection budgets, and combined with value-based action selection, HiL-IDQL+Mulligan, improves final real-task success by 10-34 percentage points. With operator interventions, the human-robot team completes 98% of collection episodes, remaining productive while the policy learns. Videos, code, and data are available at https://mulligan.page/.