Diff-DAgger: Uncertainty Estimation with Diffusion Policy for Robotic Manipulation

📄 arXiv: 2410.14868v4 📥 PDF

作者: Sung-Wook Lee, Xuhui Kang, Yen-Ling Kuo

分类: cs.RO

发布日期: 2024-10-18 (更新: 2025-03-24)

备注: Project website: diffdagger.github.io 8 pages, 6 figures, accepted by International Conference on Robotics and Automation (ICRA) 2025

💡 一句话要点

Diff-DAgger：利用扩散策略的不确定性估计提升机器人操作的交互式模仿学习效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人操作 扩散策略 不确定性估计 交互式模仿学习 机器人引导DAgger

📋 核心要点

  1. 现有机器人引导DAgger方法在处理高表达策略时，容易将多模态决策点上的策略分歧误判为不确定性，导致性能下降。
  2. Diff-DAgger利用扩散策略的训练目标来估计不确定性，从而更准确地判断何时需要专家干预，提升交互式模仿学习的效率。
  3. 实验表明，Diff-DAgger在多个机器人操作任务中显著提升了任务完成率和失败预测准确率，并大幅缩短了训练时间。

📝 摘要（中文）

扩散策略在机器人操作中处理多模态任务方面表现出色，但其泛化能力有限，易受累积误差影响。为解决此问题，论文提出Diff-DAgger，一种高效的机器人引导DAgger算法，利用扩散策略的训练目标。Diff-DAgger通过机器人查询系统主动寻求专家帮助，进行交互式模仿学习。实验结果表明，Diff-DAgger在堆叠、推和插拔等机器人任务中，任务失败预测准确率提高39.0%，任务完成率提高20.6%，运行时间缩短7.8倍。该研究为将表达能力强但数据需求大的策略高效地融入交互式机器人学习环境开辟了道路。

🔬 方法详解

问题定义：论文旨在解决机器人操作中，现有机器人引导DAgger方法在处理复杂、多模态任务时，由于高表达策略带来的不确定性误判问题。Ensemble-DAgger等方法容易将策略之间的分歧错误地认为是模型的不确定性，导致不必要的专家干预，降低学习效率。

核心思路：Diff-DAgger的核心思路是利用扩散策略的训练目标来更准确地估计策略的不确定性。扩散模型通过学习数据分布的逆过程，能够更好地捕捉数据中的多模态特性，从而更准确地判断何时策略需要专家指导。

技术框架：Diff-DAgger的整体框架基于机器人引导的DAgger算法，包含以下主要阶段：1) 机器人执行当前策略；2) 利用扩散策略估计当前状态的不确定性；3) 如果不确定性超过阈值，则向专家请求动作；4) 利用专家提供的动作更新策略。该框架通过迭代执行这些步骤，不断提升策略的性能。

关键创新：Diff-DAgger的关键创新在于使用扩散策略的不确定性估计来指导专家干预。与传统的Ensemble-DAgger等方法相比，Diff-DAgger能够更准确地识别策略需要帮助的时刻，避免不必要的专家干预，从而提高学习效率。扩散模型本身能够处理多模态数据，因此更适合复杂机器人操作任务。

关键设计：Diff-DAgger的关键设计包括：1) 使用扩散模型作为策略模型，学习状态到动作的映射；2) 利用扩散模型的训练目标（例如，噪声预测误差）来估计策略的不确定性；3) 设计合适的阈值来判断何时需要向专家请求动作；4) 使用DAgger算法来整合专家提供的动作，更新策略模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Diff-DAgger在堆叠、推和插拔等机器人任务中，相比于基线方法，任务失败预测准确率提高了39.0%，任务完成率提高了20.6%，并且将运行时间缩短了7.8倍。这些结果表明Diff-DAgger在提高机器人操作效率和准确性方面具有显著优势。

🎯 应用场景

Diff-DAgger可应用于各种需要机器人进行复杂操作的场景，例如工业自动化、家庭服务机器人、医疗机器人等。通过高效的交互式模仿学习，Diff-DAgger能够使机器人在复杂环境中更快地学习新的技能，提高机器人的自主性和适应性，降低人工干预的需求。

📄 摘要（原文）

Recently, diffusion policy has shown impressive results in handling multi-modal tasks in robotic manipulation. However, it has fundamental limitations in out-of-distribution failures that persist due to compounding errors and its limited capability to extrapolate. One way to address these limitations is robot-gated DAgger, an interactive imitation learning with a robot query system to actively seek expert help during policy rollout. While robot-gated DAgger has high potential for learning at scale, existing methods like Ensemble-DAgger struggle with highly expressive policies: They often misinterpret policy disagreements as uncertainty at multi-modal decision points. To address this problem, we introduce Diff-DAgger, an efficient robot-gated DAgger algorithm that leverages the training objective of diffusion policy. We evaluate Diff-DAgger across different robot tasks including stacking, pushing, and plugging, and show that Diff-DAgger improves the task failure prediction by 39.0%, the task completion rate by 20.6%, and reduces the wall-clock time by a factor of 7.8. We hope that this work opens up a path for efficiently incorporating expressive yet data-hungry policies into interactive robot learning settings. The project website is available at: https://diffdagger.github.io.