A Review of Online Diffusion Policy RL Algorithms for Scalable Robotic Control

📄 arXiv: 2601.06133v1 📥 PDF

作者: Wonhyeok Choi, Minwoo Choi, Jungwan Woo, Kyumin Hwang, Jaeyeul Kim, Sunghoon Im

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-01-05

💡 一句话要点

综述在线扩散策略强化学习算法，提升机器人控制的可扩展性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 扩散策略 强化学习 机器人控制 在线学习 算法综述

📋 核心要点

  1. 现有机器人控制方法难以有效建模复杂的多模态动作分布，限制了其在复杂环境中的应用。
  2. 本文提出对现有在线扩散策略强化学习算法进行分类和评估，旨在克服扩散模型与在线强化学习的不兼容性。
  3. 通过在多个机器人任务上的实验，分析了不同算法的优缺点，并指出了未来研究方向，为算法选择提供指导。

📝 摘要（中文）

扩散策略在机器人控制领域展现出强大的能力，相比传统策略网络，它在建模多模态动作分布方面表现更优。然而，由于扩散模型训练目标与标准强化学习策略改进机制之间存在根本的不兼容性，将其与在线强化学习相结合仍然充满挑战。本文首次对用于可扩展机器人控制系统的在线扩散策略强化学习（Online DPRL）算法进行了全面综述和实证分析。我们提出了一种新的分类方法，根据策略改进机制将现有方法分为四类——动作梯度法、Q值加权法、基于邻近度的方法和时间反向传播（BPTT）方法。通过在包含12个不同机器人任务的统一NVIDIA Isaac Lab基准上进行大量实验，我们系统地评估了代表性算法的五个关键维度：任务多样性、并行化能力、扩散步长可扩展性、跨具身泛化和环境鲁棒性。我们的分析揭示了每种算法系列中固有的关键权衡，尤其是在样本效率和可扩展性方面。此外，我们还揭示了当前限制在线DPRL实际部署的关键计算和算法瓶颈。基于这些发现，我们为算法选择提供了针对特定操作约束的明确指南，并概述了有希望的未来研究方向，以推动该领域朝着更通用和可扩展的机器人学习系统发展。

🔬 方法详解

问题定义：论文旨在解决在线强化学习中，如何有效地利用扩散模型来提升机器人控制策略的问题。现有方法在将离线扩散模型应用于在线强化学习时，面临着训练目标不一致、样本效率低、计算复杂度高等挑战。这些痛点限制了扩散策略在实际机器人控制中的应用。

核心思路：论文的核心思路是对现有的在线扩散策略强化学习算法进行系统性的分类、评估和分析，从而揭示不同算法的优缺点和适用场景。通过实验分析，找出影响算法性能的关键因素，并为未来的算法设计提供指导。

技术框架：论文构建了一个统一的评估框架，包括：1）定义了四种不同的算法类别（动作梯度法、Q值加权法、基于邻近度的方法和时间反向传播法）；2）选择了NVIDIA Isaac Lab中的12个不同的机器人任务作为基准；3）设计了五个关键的评估维度（任务多样性、并行化能力、扩散步长可扩展性、跨具身泛化和环境鲁棒性）。通过在这个框架下进行实验，对不同算法进行比较和分析。

关键创新：论文的主要创新在于：1）首次对在线扩散策略强化学习算法进行了全面的综述和实证分析；2）提出了一个新的算法分类方法，将现有算法分为四类，方便研究人员理解和比较；3）通过大量的实验，揭示了不同算法的优缺点和适用场景，为算法选择提供了指导。

关键设计：论文的关键设计包括：1）选择了具有代表性的算法作为每种类别的代表；2）设计了多个具有挑战性的机器人任务，以评估算法的性能；3）采用了多种评估指标，以全面评估算法的各个方面。此外，论文还对实验结果进行了深入的分析，揭示了影响算法性能的关键因素。

📊 实验亮点

论文在包含12个不同机器人任务的NVIDIA Isaac Lab基准上进行了大量实验，评估了代表性算法的五个关键维度。实验结果揭示了不同算法在样本效率、可扩展性、泛化能力和鲁棒性方面的差异。例如，某些算法在特定任务上表现出色，但在其他任务上性能下降明显，表明算法的泛化能力有限。此外，实验还指出了当前算法在计算和算法方面的瓶颈，为未来的研究提供了方向。

🎯 应用场景

该研究成果可应用于各种机器人控制场景，例如自动驾驶、工业自动化、家庭服务机器人等。通过选择合适的在线扩散策略强化学习算法，可以提升机器人在复杂环境中的适应性和控制精度，从而实现更智能、更高效的机器人系统。未来的研究可以进一步探索如何降低算法的计算复杂度，提高样本效率，从而实现更广泛的应用。

📄 摘要（原文）

Diffusion policies have emerged as a powerful approach for robotic control, demonstrating superior expressiveness in modeling multimodal action distributions compared to conventional policy networks. However, their integration with online reinforcement learning remains challenging due to fundamental incompatibilities between diffusion model training objectives and standard RL policy improvement mechanisms. This paper presents the first comprehensive review and empirical analysis of current Online Diffusion Policy Reinforcement Learning (Online DPRL) algorithms for scalable robotic control systems. We propose a novel taxonomy that categorizes existing approaches into four distinct families -- Action-Gradient, Q-Weighting, Proximity-Based, and Backpropagation Through Time (BPTT) methods -- based on their policy improvement mechanisms. Through extensive experiments on a unified NVIDIA Isaac Lab benchmark encompassing 12 diverse robotic tasks, we systematically evaluate representative algorithms across five critical dimensions: task diversity, parallelization capability, diffusion step scalability, cross-embodiment generalization, and environmental robustness. Our analysis identifies key findings regarding the fundamental trade-offs inherent in each algorithmic family, particularly concerning sample efficiency and scalability. Furthermore, we reveal critical computational and algorithmic bottlenecks that currently limit the practical deployment of online DPRL. Based on these findings, we provide concrete guidelines for algorithm selection tailored to specific operational constraints and outline promising future research directions to advance the field toward more general and scalable robotic learning systems.