BlenDAgger: Blended Shared Control for Interactive Imitation Learning

📄 arXiv: 2609.37599v1 📥 PDF

作者: Cailyn Smith, Geoffrey Sun, Henny Admoni, Zackory Erickson

分类: cs.RO, cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出BlenDAgger以解决机器人模仿学习中的人类干预效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 共享控制 机器人操控 人机协作 深度学习

📋 核心要点

  1. 现有的机器人模仿学习方法依赖人类的纠正，导致数据收集过程繁琐且效率低下。
  2. BlenDAgger通过共享控制混合机器人策略和人类示范者的动作，提高了操控策略的自主性和效率。
  3. 实验结果显示，BlenDAgger在真实任务中比传统方法提高了30个百分点的自主性能，并加快了数据收集速度。

📝 摘要（中文）

机器人策略通常依赖于人类的纠正进行训练，但通过遥控机器人进行纠正的过程繁琐，且人类示范者并不总是最优的。我们提出了BlenDAgger，一种通过共享控制在干预期间混合策略和示范者动作来收集数据以训练模仿学习策略的方法。通过混合人类和策略的动作，我们旨在提高操控策略的自主性能。我们在五个操控任务中验证了该方法，其中两个在真实世界中，三个在模拟环境中。与典型的人类门控纠正方法（HG-DAgger）相比，我们的方法在两个真实世界任务上实现了30个百分点以上的自主性能提升。我们还研究了BlenDAgger的优势，发现其使策略控制与人类干预之间的过渡更平滑，轨迹与训练数据的相似度更高。

🔬 方法详解

问题定义：本论文旨在解决机器人模仿学习中人类干预效率低下的问题。现有方法如HG-DAgger依赖于完全的遥控干预，导致数据收集过程繁琐且不够高效。

核心思路：BlenDAgger的核心思路是通过共享控制混合机器人策略和人类示范者的动作，从而在干预过程中提高自主性能。这种设计旨在减少人类干预的负担，同时提升机器人在复杂任务中的表现。

技术框架：BlenDAgger的整体架构包括数据收集模块、策略训练模块和性能评估模块。在数据收集阶段，系统通过共享控制实时混合人类和机器人策略的动作；在策略训练阶段，利用收集到的数据进行模仿学习；最后，通过评估模块验证策略的性能。

关键创新：BlenDAgger的主要创新在于引入了混合控制机制，使得机器人在执行任务时能够更平滑地过渡于人类干预与自主控制之间。这一机制显著提升了自主性能，与传统的完全遥控方法形成了鲜明对比。

关键设计：在参数设置上，BlenDAgger采用了特定的损失函数来平衡人类和机器人动作的影响。此外，网络结构设计上，结合了深度学习模型以提高策略的学习效率和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BlenDAgger在两个真实世界任务中比传统HG-DAgger方法提高了30个百分点的自主性能，并且在用户研究中，数据收集速度提升了13.32倍，显示出混合控制的显著优势。

🎯 应用场景

BlenDAgger的研究成果在多个领域具有潜在应用价值，尤其是在需要人机协作的复杂操控任务中，如工业机器人、服务机器人和医疗机器人等。通过提高机器人自主性能，能够显著降低人类操作者的负担，提升工作效率。未来，该方法有望在更多实际场景中推广应用，推动智能机器人技术的发展。

📄 摘要（原文）

Robot policies are frequently trained from human corrections, yet teleoperating a robot to provide corrections is burdensome, and human demonstrators are not always optimal. We propose Blended DAgger (BlenDAgger), an approach for collecting data to train imitation learning policies by using shared control to blend the policy's and demonstrator's actions during interventions. By blending human and policy actions, we aim to improve the autonomous performance of manipulation policies. We validate our approach across five manipulation tasks, two in the real world and three in simulation. Our approach achieves higher autonomous performance by 30 or more percentage points on two real-world tasks compared to a typical human-gated correction approach (HG-DAgger). We also investigate the advantages of BlenDAgger that allow for higher autonomous performance, finding that BlenDAgger results in 57% smoother transitions between policy control and human interventions, and 14% higher trajectory similarity to the training data. In a user study (n=14) on two real-world tasks, we find that BlenDAgger results in faster data collection (BF=13.32), and we do not find a difference in subjective perceptions. These results show that blended shared control leads to higher autonomous performance compared to typical methods for fine-tuning robot policies from fully teleoperated interventions.