Streaming Diffusion Policy: Fast Policy Synthesis with Variable Noise Diffusion Models

📄 arXiv: 2406.04806v4 📥 PDF

作者: Sigmund H. Høeg, Yilun Du, Olav Egeland

分类: cs.RO, cs.AI

发布日期: 2024-06-07 (更新: 2024-10-11)

💡 一句话要点

提出流式扩散策略(SDP)，加速机器人策略合成，提升实时性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散模型 机器人策略学习 模仿学习 实时控制 流式处理 动作合成 部分去噪

📋 核心要点

  1. 扩散模型在机器人模仿学习中应用广泛，但动作合成速度慢，限制了其在实时任务中的应用。
  2. 论文提出流式扩散策略（SDP），通过输出部分去噪的动作轨迹，加速策略合成过程。
  3. 实验表明，SDP在显著提高策略合成速度的同时，保持了在模拟和真实环境中的性能。

📝 摘要（中文）

扩散模型在机器人模仿学习中得到广泛应用，能够自主执行复杂的灵巧任务。然而，动作合成通常很慢，需要多次迭代去噪，限制了模型在需要快速反应策略的任务中的应用。为了解决这个问题，最近的研究探索了如何利用扩散过程的蒸馏来加速策略合成。但是，蒸馏计算成本高昂，并且会损害合成动作的准确性和多样性。我们提出了SDP（流式扩散策略），这是一种加速策略合成的替代方法，它利用了生成部分去噪的动作轨迹比生成完整的输出动作轨迹快得多的洞察力。在每次观察时，我们的方法输出一个具有可变噪声破坏水平的部分去噪的动作轨迹，其中要执行的直接动作是无噪声的，而后续动作具有越来越高的噪声和不确定性。然后，可以通过对先前预测的噪声动作轨迹（滚动一个时间步长）应用几个去噪步骤来快速生成新观察的部分去噪动作轨迹。我们展示了这种方法的有效性，在模拟和真实环境中都显著加快了策略合成，同时保持了性能。

🔬 方法详解

问题定义：现有基于扩散模型的机器人策略学习方法，在动作合成阶段需要多次迭代去噪，计算成本高昂，导致策略执行速度慢，难以满足实时性要求高的任务需求。蒸馏方法虽然可以加速，但会降低动作的准确性和多样性。

核心思路：论文的核心思想是，不需要完全去噪整个动作轨迹，而是生成一个部分去噪的动作轨迹，其中当前时刻的动作是完全去噪的，而未来时刻的动作则包含逐渐增加的噪声。这样，就可以通过少量去噪步骤快速生成动作，从而加速策略合成。

技术框架：SDP 的整体框架如下：1. 在每个时间步，模型接收当前观测；2. 模型输出一个部分去噪的动作轨迹，该轨迹包含当前时刻的无噪声动作和未来时刻的带噪声动作；3. 当前时刻的无噪声动作被执行；4. 下一个时间步，将上一个时间步输出的带噪声动作轨迹滚动一个时间步长，并作为新的输入，进行少量去噪，生成新的动作轨迹。

关键创新：SDP 的关键创新在于：1. 部分去噪动作轨迹的生成，避免了完全去噪整个轨迹的计算负担；2. 流式处理，通过滚动和少量去噪，实现了快速的策略合成。与蒸馏方法相比，SDP避免了额外的训练步骤，并且能够更好地保持动作的准确性和多样性。

关键设计：SDP 的关键设计包括：1. 噪声水平的控制：需要合理设计噪声水平，保证当前动作的准确性，同时为未来的动作提供足够的探索空间；2. 去噪步数的选择：需要根据任务的实时性要求和性能需求，选择合适的去噪步数，以平衡速度和精度；3. 模型结构：可以使用各种扩散模型作为基础模型，例如 DDPM、DDIM 等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的SDP方法在模拟和真实环境中都取得了显著的加速效果，同时保持了良好的性能。实验结果表明，SDP能够显著减少策略合成所需的时间，使得机器人能够更快地响应环境变化。具体的性能数据和对比基线在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于需要快速反应的机器人任务中，例如高速运动控制、实时避障、人机协作等。通过加速策略合成，SDP能够使机器人更快地适应环境变化，提高任务完成效率和安全性。未来，该方法有望扩展到更复杂的机器人任务和更广泛的应用领域。

📄 摘要（原文）

Diffusion models have seen rapid adoption in robotic imitation learning, enabling autonomous execution of complex dexterous tasks. However, action synthesis is often slow, requiring many steps of iterative denoising, limiting the extent to which models can be used in tasks that require fast reactive policies. To sidestep this, recent works have explored how the distillation of the diffusion process can be used to accelerate policy synthesis. However, distillation is computationally expensive and can hurt both the accuracy and diversity of synthesized actions. We propose SDP (Streaming Diffusion Policy), an alternative method to accelerate policy synthesis, leveraging the insight that generating a partially denoised action trajectory is substantially faster than a full output action trajectory. At each observation, our approach outputs a partially denoised action trajectory with variable levels of noise corruption, where the immediate action to execute is noise-free, with subsequent actions having increasing levels of noise and uncertainty. The partially denoised action trajectory for a new observation can then be quickly generated by applying a few steps of denoising to the previously predicted noisy action trajectory (rolled over by one timestep). We illustrate the efficacy of this approach, dramatically speeding up policy synthesis while preserving performance across both simulated and real-world settings.