Policy-Calibrated DAgger: Offline Calibrated Noise Injection for Imitation Learning
作者: Jenny Wang, George Kantor
分类: cs.RO
发布日期: 2026-09-24
备注: 8 pages, 5 figures, in review for ICRA 2027
💡 一句话要点
提出Policy-Calibrated DAgger以解决模仿学习中的噪声注入问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模仿学习 策略优化 噪声注入 机器人导航 多模态控制
📋 核心要点
- 现有模仿学习方法在策略执行中容易积累错误，导致机器人偏离训练分布，影响性能。
- 提出Policy-Calibrated DAgger，通过离线估计策略噪声，利用自身预测的动作分布来改善策略的稳定性。
- 实验结果显示，该方法在复杂环境中表现优越，超越了未加噪声的策略，并与最佳噪声水平的策略性能相当。
📝 摘要（中文）
模仿学习训练的策略可能随着时间的推移积累错误，导致机器人偏离训练分布。现有方法通过在策略失败或可能失败的情况下收集额外数据来缓解这种协变量偏移。我们提出了Policy-Calibrated DAgger方法，利用最近生成策略的特性，通过使用自身预测的动作分布离线估计策略的噪声。我们在专家轨迹的观察点上测量扩散策略的预测动作分布，并相对于记录的轨迹测量其闭环误差。为了解决多模态动作空间中误差测量的问题，我们通过部分去噪引导策略朝向轨迹，并利用扩散模型的特性对测量的误差进行反归一化。实验表明，我们的方法在复杂环境中超越了未加噪声的数据集聚合训练的策略，并在不需要噪声水平的遍历情况下，匹配了最佳噪声水平的性能。
🔬 方法详解
问题定义：本论文旨在解决模仿学习中策略执行的错误积累问题，现有方法通过收集额外数据来应对协变量偏移，但往往需要在不安全条件下进行，且选择合适的噪声分布困难。
核心思路：我们提出的Policy-Calibrated DAgger方法，利用生成策略的特性，离线估计策略的噪声，避免了在不安全条件下收集数据的需求。通过测量扩散策略在专家轨迹上的预测动作分布，来评估策略的闭环误差。
技术框架：该方法的整体架构包括三个主要模块：首先，利用扩散模型生成预测动作分布；其次，测量闭环控制下的误差；最后，通过部分去噪引导策略朝向目标轨迹。
关键创新：本研究的主要创新在于通过离线噪声估计和部分去噪引导策略，解决了多模态动作空间中误差测量的挑战，与传统方法相比，显著提高了策略的稳定性和可靠性。
关键设计：在实现过程中，采用了特定的损失函数来优化预测动作分布，并设计了适应多模态特性的网络结构，以确保在复杂环境中有效控制策略的行为。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Policy-Calibrated DAgger方法在3D真实感模拟器和2D平面环境中均表现出色，超越了未加噪声的数据集聚合策略，且在不进行噪声水平遍历的情况下，达到了最佳噪声水平的性能，展示了其优越性。
🎯 应用场景
该研究的潜在应用领域包括机器人导航、自动驾驶和人机协作等场景，能够有效提高机器人在复杂环境中的自主决策能力。未来，随着技术的进一步发展，该方法有望在更多实际应用中得到推广，提升智能系统的安全性和可靠性。
📄 摘要（原文）
Policies trained with imitation learning can accumulate errors over time, causing the robot to drift outside the training distribution. Existing methods mitigate this covariate shift by collecting additional data where the policy fails or is likely to fail. The first places the robot in unsafe conditions and the second requires choosing an appropriate noise distribution to collect new expert demonstrations under that noise. We propose Policy-Calibrated DAgger, a method that makes use of the properties of recent generative policies to estimate the policy's noise offline by using its own predicted action distribution. We measure a diffusion policy's spread of predicted actions at observations along the expert trajectory and measure its closed-loop error relative to a recorded trajectory. To address issues with measuring error in a multimodal action space, we guide the policy towards the trajectory during closed-loop control through partial denoising, and use properties of a diffusion model to unnormalize the measured error as if we did not guide it. We experiment in a scenario where a robot is tasked to reach an engine lever in a cluttered and narrow environment and show results in a 3D photorealistic simulator and a 2D planar reacher environment. We show that our method surpasses policies trained with dataset aggregation without noising and matches the performance of the best noise level in hindsight, without requiring a sweep over noise levels.