Offline Reinforcement Learning with Discrete Diffusion Skills

📄 arXiv: 2503.20176v1 📥 PDF

作者: RuiXi Qiao, Jie Cheng, Xingyuan Dai, Yonglin Tian, Yisheng Lv

分类: cs.LG, cs.AI, cs.RO

发布日期: 2025-03-26

💡 一句话要点

提出基于离散扩散技能的离线强化学习方法，提升长时任务性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 离线强化学习 离散技能 扩散模型 分层强化学习 长时任务

📋 核心要点

  1. 现有离线强化学习中技能主要建模在连续隐空间，离散技能空间的潜力未被充分挖掘，限制了长时任务的性能。
  2. 论文提出离散扩散技能（DDS），利用Transformer编码器和扩散解码器构建紧凑的离散技能空间，并结合高层策略。
  3. 实验表明，DDS在长时任务AntMaze-v2上相比现有方法提升至少12%，并提升了可解释性、训练稳定性和在线探索能力。

📝 摘要（中文）

本文提出了一种基于离散扩散技能（DDS）的离线强化学习方法。该方法利用基于Transformer的编码器和基于扩散的解码器，构建了一个紧凑的离散技能空间。结合通过离线强化学习技术训练的高级策略，DDS建立了一个分层强化学习框架，其中训练好的扩散解码器起着关键作用。实验结果表明，DDS是一种强大的离线强化学习方法，在Locomotion和Kitchen任务上表现出竞争力，并在长时任务上表现出色，在AntMaze-v2基准测试中，与现有的离线强化学习方法相比，至少提高了12%。此外，与以往基于技能的方法相比，DDS提供了更好的可解释性、训练稳定性和在线探索能力。

🔬 方法详解

问题定义：离线强化学习旨在利用预先收集好的静态数据集训练策略，而无需与环境交互。然而，对于复杂、长时任务，学习有效的策略仍然具有挑战性。现有的技能学习方法主要集中在连续隐空间，忽略了离散技能空间的潜力，导致探索效率低、可解释性差等问题。

核心思路：论文的核心思路是利用离散技能空间来表示不同的行为模式，并通过扩散模型学习这些技能。离散技能空间更易于理解和控制，同时扩散模型能够生成高质量的技能序列，从而提高策略的学习效率和性能。通过结合离散技能空间和扩散模型，可以有效地解决长时任务中的探索和学习问题。

技术框架：DDS方法采用分层强化学习框架。首先，利用Transformer编码器将离线数据编码为状态表示。然后，利用扩散模型学习一个离散技能空间，该空间中的每个技能代表一种特定的行为模式。接下来，训练一个高层策略，该策略根据当前状态选择合适的技能。最后，利用训练好的扩散解码器将选择的技能解码为具体的动作序列。整个框架包括离线数据编码、离散技能学习、高层策略训练和动作序列生成四个主要阶段。

关键创新：DDS的关键创新在于将离散技能空间与扩散模型相结合，用于离线强化学习。与传统的连续技能空间相比，离散技能空间更易于理解和控制，并且可以更好地表示不同的行为模式。扩散模型能够生成高质量的技能序列，从而提高策略的学习效率和性能。此外，DDS还利用Transformer编码器来提取状态表示，从而更好地利用离线数据。

关键设计：DDS的关键设计包括：1) 使用Transformer编码器提取状态表示；2) 使用扩散模型学习离散技能空间，扩散模型的目标是学习从噪声到技能的映射；3) 使用离线强化学习算法（例如，Behavior Cloning或CQL）训练高层策略，目标是最大化累积奖励；4) 使用训练好的扩散解码器将选择的技能解码为具体的动作序列。损失函数包括扩散模型的训练损失和高层策略的训练损失。网络结构包括Transformer编码器、扩散模型和高层策略网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DDS在Locomotion和Kitchen任务上表现出竞争力，并在长时任务AntMaze-v2上显著优于现有方法，性能提升至少12%。DDS还表现出更好的可解释性，训练稳定性和在线探索能力。这些结果表明，DDS是一种有效的离线强化学习方法，尤其适用于复杂、长时任务。

🎯 应用场景

该研究成果可应用于机器人控制、游戏AI、自动驾驶等领域。例如，在机器人控制中，可以利用DDS学习机器人的各种技能，例如行走、抓取等，从而使机器人能够完成复杂的任务。在游戏AI中，可以利用DDS学习游戏角色的各种行为模式，从而使游戏角色更加智能和逼真。在自动驾驶中，可以利用DDS学习车辆的驾驶技能，从而提高自动驾驶系统的安全性和可靠性。

📄 摘要（原文）

Skills have been introduced to offline reinforcement learning (RL) as temporal abstractions to tackle complex, long-horizon tasks, promoting consistent behavior and enabling meaningful exploration. While skills in offline RL are predominantly modeled within a continuous latent space, the potential of discrete skill spaces remains largely underexplored. In this paper, we propose a compact discrete skill space for offline RL tasks supported by state-of-the-art transformer-based encoder and diffusion-based decoder. Coupled with a high-level policy trained via offline RL techniques, our method establishes a hierarchical RL framework where the trained diffusion decoder plays a pivotal role. Empirical evaluations show that the proposed algorithm, Discrete Diffusion Skill (DDS), is a powerful offline RL method. DDS performs competitively on Locomotion and Kitchen tasks and excels on long-horizon tasks, achieving at least a 12 percent improvement on AntMaze-v2 benchmarks compared to existing offline RL approaches. Furthermore, DDS offers improved interpretability, training stability, and online exploration compared to previous skill-based methods.