DIA: Denoising Intermediate Advantage for Diffusion Policy Optimization

📄 arXiv: 2609.12245v1 📥 PDF

作者: Arjun Sohal, Yuchi Zhao, Miroslav Bogdanovic, Alan Aspuru-Guzik

分类: cs.RO

发布日期: 2026-09-10

💡 一句话要点

提出DIA以优化扩散策略的去噪过程

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散策略 去噪中间优势 强化学习 机器人操作 策略优化 行为克隆 任务规划

📋 核心要点

  1. 现有的扩散策略微调方法未能有效区分中间去噪步骤对最终回报的贡献，导致性能提升有限。
  2. 本文提出的DIA方法通过学习部分去噪动作的价值函数，为每一步生成过程构建去噪级优势，从而优化策略训练。
  3. 在Robomimic、FurnitureBench、Franka Kitchen和D3IL等任务上，DIA显著提升了最终性能，并提高了任务策略的发现能力。

📝 摘要（中文）

基于扩散的机器人策略在机器人操作中得到了广泛应用，通常通过行为克隆进行训练。然而，单纯依赖演示数据训练的策略受到数据质量和覆盖范围的限制。强化学习可以通过交互进一步提升这些预训练策略的性能。现有方法通常对构建动作块所用的所有去噪步骤分配相同的环境级信用，而未能区分哪些中间决策对最终回报的贡献最大。本文提出了去噪中间优势（DIA），一种学习部分去噪动作的价值函数的策略梯度方法，并利用该函数为生成过程的每一步构建去噪级优势。DIA将这一内部信用信号与标准环境级PPO优势相结合，提供了在去噪链中的状态依赖信用。实验结果表明，DIA在多个基准任务上均优于现有的扩散策略微调方法。

🔬 方法详解

问题定义：现有的扩散策略微调方法在训练过程中对所有去噪步骤分配相同的环境级信用，未能有效识别哪些中间决策对最终回报的贡献，限制了策略的优化效果。

核心思路：DIA方法通过引入去噪中间优势，学习部分去噪动作的价值函数，进而为生成过程中的每一步提供状态依赖的信用信号，从而优化策略的训练过程。

技术框架：DIA的整体架构包括两个主要模块：外部环境MDP和内部去噪MDP。外部MDP负责策略的整体训练，而内部MDP则专注于去噪过程中的每一步决策。

关键创新：DIA的核心创新在于引入去噪中间优势，使得每一步的信用信号能够反映其对最终回报的实际贡献，从而实现更精细的策略优化。这一方法与传统的统一信用分配方法本质上不同。

关键设计：DIA在损失函数的设计上结合了环境级PPO优势和去噪级优势，确保了在训练过程中能够有效利用每一步的反馈信号。此外，网络结构上采用了适应性去噪模块，以提高去噪过程的效率和效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在多个基准任务上，DIA方法显著提升了最终性能，相较于现有的扩散策略微调方法，DIA在任务成功率和策略发现能力上均有明显改善，具体表现为在Robomimic和Franka Kitchen任务中性能提升超过20%。

🎯 应用场景

DIA方法在机器人操作、自动化任务规划和智能控制等领域具有广泛的应用潜力。通过优化策略的去噪过程，DIA能够帮助机器人更有效地学习复杂任务，提高操作的灵活性和效率，未来可能在工业自动化和服务机器人等领域发挥重要作用。

📄 摘要（原文）

Diffusion-based robot policies have become widely used in robotic manipulation, where they are typically trained with behavior cloning. However, policies trained purely from demonstrations are limited by the quality and coverage of the available data. Reinforcement learning can further improve the performance of these pretrained policies through interaction. A common approach is to use policy-gradient methods that formulate diffusion-policy fine-tuning as an outer environment MDP together with an inner denoising MDP. However, existing methods typically assign the same environment-level credit to all denoising steps used to construct an action chunk, without distinguishing which intermediate decisions contributed most to the final return. We introduce Denoising Intermediate Advantage (DIA), a policy-gradient method that learns a value function over partially denoised actions and uses it to construct a denoising- level advantage for each step of the generative process. DIA com- bines this inner credit signal with the standard environment-level PPO advantage, providing state-dependent credit throughout the denoising chain. Across Robomimic, FurnitureBench, Franka Kitchen, and D3IL, DIA consistently improves final performance over existing diffusion-policy fine-tuning methods. Beyond final reward, DIA reaches successful states more efficiently and can shift farther from the pretrained behavior distribution, enabling it to discover more effective and efficient task-level strategies and subtask sequences that baseline methods fail to reach.