Solving Continual Offline RL through Selective Weights Activation on Aligned Spaces

📄 arXiv: 2410.15698v1 📥 PDF

作者: Jifeng Hu, Sili Huang, Li Shen, Zhejian Yang, Shengchao Hu, Shisong Tang, Hechang Chen, Yi Chang, Dacheng Tao, Lichao Sun

分类: cs.LG

发布日期: 2024-10-21

💡 一句话要点

提出VQ-CD，通过对齐空间上的选择性权重激活解决持续离线强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 持续离线强化学习 向量量化 扩散模型 空间对齐 选择性权重激活

📋 核心要点

  1. 现有持续离线强化学习方法主要集中在相同状态和动作空间的任务上，与实际应用需求存在差距。
  2. VQ-CD的核心思想是利用向量量化对齐不同任务的状态和动作空间，并使用选择性权重激活来学习所有任务。
  3. 实验结果表明，VQ-CD在包含不同状态和动作空间的15个持续学习任务上达到了SOTA性能。

📝 摘要（中文）

本文提出了一种名为VQ-CD（Vector-Quantized Continual Diffuser）的方法，旨在解决持续离线强化学习（CORL）中不同任务具有不同状态和动作空间的问题。VQ-CD通过量化空间对齐为选择性权重激活提供统一的基础。具体来说，利用向量量化对齐不同任务的状态和动作空间，从而在同一空间中进行持续训练。然后，利用统一的扩散模型，结合逆动力学模型，通过根据任务相关的稀疏掩码选择性地激活不同的权重来掌握所有任务。在15个持续学习（CL）任务上进行了大量实验，包括传统CL任务设置（相同的状态和动作空间）和通用CL任务设置（不同的状态和动作空间）。实验结果表明，与16个基线方法相比，VQ-CD达到了SOTA性能。

🔬 方法详解

问题定义：现有的持续离线强化学习方法大多假设任务具有相同的状态和动作空间，这限制了它们在实际复杂环境中的应用。真实场景中，智能体需要在各种不同的环境中学习，每个环境可能具有不同的状态表示和动作空间。因此，如何有效地在具有不同状态和动作空间的任务之间进行知识迁移和持续学习是一个关键问题。

核心思路：VQ-CD的核心思路是通过向量量化将不同任务的状态和动作空间映射到统一的量化空间中，从而实现跨任务的知识共享。然后，利用一个统一的扩散模型，通过选择性地激活与特定任务相关的权重，来学习所有任务。这种方法避免了为每个任务单独训练模型，提高了学习效率和泛化能力。

技术框架：VQ-CD包含两个主要模块：量化空间对齐模块和选择性权重激活模块。首先，量化空间对齐模块使用向量量化技术将不同任务的状态和动作空间映射到统一的离散空间中。然后，选择性权重激活模块利用一个统一的扩散模型，该模型通过逆动力学模型进行增强，并使用任务相关的稀疏掩码来选择性地激活不同的权重，从而学习所有任务。

关键创新：VQ-CD的关键创新在于它能够处理具有不同状态和动作空间的持续学习任务。通过向量量化对齐不同任务的空间，并使用选择性权重激活来学习所有任务，VQ-CD打破了传统持续学习方法的限制。与现有方法相比，VQ-CD能够更有效地利用离线数据，并在更广泛的任务范围内实现持续学习。

关键设计：在量化空间对齐模块中，使用了k-means聚类算法进行向量量化，将状态和动作空间划分为若干个离散的簇。在选择性权重激活模块中，扩散模型采用U-Net结构，并使用Transformer进行时间步编码。任务相关的稀疏掩码通过学习得到，用于选择性地激活与特定任务相关的权重。损失函数包括扩散模型的重构损失和逆动力学模型的预测损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VQ-CD在15个持续学习任务上进行了评估，包括传统CL任务设置（相同的状态和动作空间）和通用CL任务设置（不同的状态和动作空间）。实验结果表明，VQ-CD在所有任务上都优于16个基线方法，达到了SOTA性能。尤其是在通用CL任务设置中，VQ-CD的性能提升更为显著，证明了其在处理不同状态和动作空间任务方面的优势。

🎯 应用场景

VQ-CD具有广泛的应用前景，例如机器人导航、游戏AI和自动驾驶等领域。它可以帮助智能体在不同的环境中持续学习和适应，从而提高其泛化能力和鲁棒性。此外，VQ-CD还可以应用于多智能体系统，帮助不同的智能体之间进行知识共享和协作。

📄 摘要（原文）

Continual offline reinforcement learning (CORL) has shown impressive ability in diffusion-based lifelong learning systems by modeling the joint distributions of trajectories. However, most research only focuses on limited continual task settings where the tasks have the same observation and action space, which deviates from the realistic demands of training agents in various environments. In view of this, we propose Vector-Quantized Continual Diffuser, named VQ-CD, to break the barrier of different spaces between various tasks. Specifically, our method contains two complementary sections, where the quantization spaces alignment provides a unified basis for the selective weights activation. In the quantized spaces alignment, we leverage vector quantization to align the different state and action spaces of various tasks, facilitating continual training in the same space. Then, we propose to leverage a unified diffusion model attached by the inverse dynamic model to master all tasks by selectively activating different weights according to the task-related sparse masks. Finally, we conduct extensive experiments on 15 continual learning (CL) tasks, including conventional CL task settings (identical state and action spaces) and general CL task settings (various state and action spaces). Compared with 16 baselines, our method reaches the SOTA performance.