Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal

📄 arXiv: 2409.02512v2 📥 PDF

作者: Jifeng Hu, Li Shen, Sili Huang, Zhejian Yang, Hechang Chen, Lichao Sun, Yi Chang, Dacheng Tao

分类: cs.LG, cs.AI

发布日期: 2024-09-04 (更新: 2025-01-15)

备注: This work has been submitted to the IEEE for possible publication

💡 一句话要点

提出Continual Diffuser (CoD)，解决离线强化学习中的持续学习难题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续学习 离线强化学习 扩散模型 经验回放 机器人控制

📋 核心要点

  1. 现实世界强化学习任务不断变化，对智能体提出了塑性和稳定性之间的权衡挑战。
  2. CoD通过经验回放机制，使扩散模型具备快速适应新任务和持久保持已学知识的能力。
  3. 在包含90个任务的离线基准测试中，CoD在塑性和稳定性方面表现出色，优于现有方法。

📝 摘要（中文）

本文提出了一种基于经验回放的持续扩散模型Continual Diffuser (CoD)，旨在解决离线强化学习中持续学习任务的难题，即在适应新任务的同时保持已学知识的稳定性。该方法通过顺序建模和条件生成，使扩散模型能够对每个任务做出决策。同时，保留少量先前数据集作为回放缓冲区，并通过回放来保留已获得的知识。在包含来自多个领域的90个任务的离线基准测试中，实验结果表明CoD在快速适应性和持久记忆能力之间取得了良好的平衡，并且在大多数任务上优于现有的基于扩散的方法和其他代表性基线。

🔬 方法详解

问题定义：在现实世界的强化学习应用中，任务往往是动态变化的，智能体需要具备持续学习的能力，即在学习新任务的同时，不能遗忘之前学习过的知识。现有的强化学习方法，尤其是基于扩散模型的方法，在静态数据集上表现出色，但在持续学习场景下，容易发生灾难性遗忘，无法很好地平衡塑性（适应新任务）和稳定性（保持旧知识）。

核心思路：CoD的核心思路是结合扩散模型强大的生成能力和经验回放机制，利用扩散模型学习每个任务的策略，并通过回放之前任务的数据来缓解灾难性遗忘。通过这种方式，CoD能够在适应新任务的同时，保留已学知识，实现塑性和稳定性的平衡。

技术框架：CoD的整体框架包括以下几个主要步骤：1) 构建离线持续学习基准，包含多个领域的任务；2) 使用扩散模型对每个任务进行顺序建模和条件生成，学习任务策略；3) 维护一个小的回放缓冲区，用于存储之前任务的数据；4) 在训练新任务时，同时回放缓冲区中的数据，以保留已学知识。

关键创新：CoD的关键创新在于将扩散模型与经验回放机制相结合，用于解决离线强化学习中的持续学习问题。与传统的持续学习方法相比，CoD利用扩散模型强大的生成能力，能够更好地学习任务策略，并缓解灾难性遗忘。此外，CoD还构建了一个包含多个领域的离线持续学习基准，为该领域的研究提供了便利。

关键设计：CoD的关键设计包括：1) 回放缓冲区的大小：需要根据任务的复杂度和计算资源进行调整；2) 回放频率：需要在塑性和稳定性之间进行权衡；3) 扩散模型的网络结构和训练参数：需要根据具体任务进行调整；4) 损失函数：需要考虑任务的奖励和回放数据的损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoD在包含90个任务的离线持续学习基准测试中表现出色，在大多数任务上优于现有的基于扩散的方法和其他代表性基线。具体而言，CoD在塑性和稳定性方面取得了良好的平衡，能够快速适应新任务，同时保持已学知识。实验结果表明，CoD是一种有效的离线持续强化学习方法。

🎯 应用场景

CoD在机器人控制、游戏AI、自动驾驶等领域具有广泛的应用前景。例如，在机器人控制中，机器人可以通过CoD不断学习新的技能，适应不同的环境和任务。在游戏AI中，CoD可以使AI智能体能够持续学习新的游戏策略，提高游戏水平。在自动驾驶中，CoD可以使自动驾驶系统能够适应不断变化的交通环境，提高驾驶安全性。

📄 摘要（原文）

Artificial neural networks, especially recent diffusion-based models, have shown remarkable superiority in gaming, control, and QA systems, where the training tasks' datasets are usually static. However, in real-world applications, such as robotic control of reinforcement learning (RL), the tasks are changing, and new tasks arise in a sequential order. This situation poses the new challenge of plasticity-stability trade-off for training an agent who can adapt to task changes and retain acquired knowledge. In view of this, we propose a rehearsal-based continual diffusion model, called Continual Diffuser (CoD), to endow the diffuser with the capabilities of quick adaptation (plasticity) and lasting retention (stability). Specifically, we first construct an offline benchmark that contains 90 tasks from multiple domains. Then, we train the CoD on each task with sequential modeling and conditional generation for making decisions. Next, we preserve a small portion of previous datasets as the rehearsal buffer and replay it to retain the acquired knowledge. Extensive experiments on a series of tasks show CoD can achieve a promising plasticity-stability trade-off and outperform existing diffusion-based methods and other representative baselines on most tasks.