Skills Regularized Task Decomposition for Multi-task Offline Reinforcement Learning

📄 arXiv: 2408.15593v1 📥 PDF

作者: Minjong Yoo, Sangwoo Cho, Honguk Woo

分类: cs.LG

发布日期: 2024-08-28

备注: 12 pages, 5 figures, acceepted in NeurIPS 2022

💡 一句话要点

提出技能正则化任务分解方法，解决异构离线数据集上的多任务强化学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多任务学习 离线强化学习 任务分解 技能学习 Wasserstein自编码器

📋 核心要点

  1. 异构离线数据集上的多任务强化学习面临数据质量差异带来的挑战，难以获得最优策略。
  2. 论文提出基于技能的任务分解方法，联合学习通用技能，并将其作为指导，将任务分解为可实现的子任务。
  3. 实验结果表明，该方法在机器人操作和无人机导航任务中，对异构数据具有鲁棒性，并优于现有算法。

📝 摘要（中文）

本文提出了一种基于技能的多任务离线强化学习技术，用于处理由不同质量的行为策略生成的异构数据集。为了有效地学习这些数据集之间的共享知识，我们采用了一种任务分解方法，该方法共同学习通用技能，并将其用作指导，以将任务重新构建为共享且可实现的子任务。在联合学习中，我们使用Wasserstein自编码器（WAE）在同一潜在空间中表示技能和任务，并使用质量加权损失作为正则化项，以引导任务分解为与高质量技能更一致的子任务。为了提高在潜在空间上学习的离线强化学习代理的性能，我们还使用与每个任务的高质量技能相关的虚构轨迹来扩充数据集。通过实验，我们表明我们的多任务离线强化学习方法对于不同质量数据集的混合配置具有鲁棒性，并且在多个机器人操作任务和无人机导航任务中优于其他最先进的算法。

🔬 方法详解

问题定义：在多任务离线强化学习中，由于不同任务的数据集质量参差不齐，直接应用现有方法难以有效利用所有数据，导致学习到的策略并非最优。尤其是在离线强化学习环境中，无法与环境进行交互，数据质量的差异会显著影响学习效果。

核心思路：论文的核心思路是将任务分解为多个子任务，并利用共享的技能来指导任务分解过程。通过学习高质量的技能，并将其作为正则化项，引导任务分解为与高质量技能更一致的子任务，从而提高学习效率和策略质量。

技术框架：整体框架包含以下几个主要模块：1) 使用Wasserstein自编码器（WAE）在同一潜在空间中表示技能和任务；2) 使用质量加权损失作为正则化项，引导任务分解；3) 使用与高质量技能相关的虚构轨迹来扩充数据集；4) 在潜在空间上训练离线强化学习代理。

关键创新：最重要的创新点在于使用技能来正则化任务分解过程。通过学习高质量的技能，并将其作为先验知识，引导任务分解为更易于学习和实现的子任务。这种方法能够有效地利用异构数据集中的信息，提高学习效率和策略质量。

关键设计：论文使用Wasserstein自编码器（WAE）来学习技能和任务的潜在表示。WAE能够有效地捕捉数据分布的结构，并生成高质量的样本。此外，论文还设计了一个质量加权损失函数，用于衡量任务分解的质量。该损失函数根据数据集的质量对不同的子任务进行加权，从而引导任务分解为与高质量技能更一致的子任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个机器人操作任务和无人机导航任务中，对不同质量数据集的混合配置具有鲁棒性，并且优于其他state-of-the-art的离线强化学习算法。具体性能提升数据未知，但结论表明该方法在异构数据集上的多任务离线强化学习中具有显著优势。

🎯 应用场景

该研究成果可应用于机器人操作、自动驾驶、游戏AI等领域。例如，在机器人操作中，可以利用不同质量的演示数据学习复杂的操作技能。在自动驾驶中，可以利用不同驾驶员的驾驶数据学习安全可靠的驾驶策略。该方法具有很高的实际应用价值和潜力。

📄 摘要（原文）

Reinforcement learning (RL) with diverse offline datasets can have the advantage of leveraging the relation of multiple tasks and the common skills learned across those tasks, hence allowing us to deal with real-world complex problems efficiently in a data-driven way. In offline RL where only offline data is used and online interaction with the environment is restricted, it is yet difficult to achieve the optimal policy for multiple tasks, especially when the data quality varies for the tasks. In this paper, we present a skill-based multi-task RL technique on heterogeneous datasets that are generated by behavior policies of different quality. To learn the shareable knowledge across those datasets effectively, we employ a task decomposition method for which common skills are jointly learned and used as guidance to reformulate a task in shared and achievable subtasks. In this joint learning, we use Wasserstein auto-encoder (WAE) to represent both skills and tasks on the same latent space and use the quality-weighted loss as a regularization term to induce tasks to be decomposed into subtasks that are more consistent with high-quality skills than others. To improve the performance of offline RL agents learned on the latent space, we also augment datasets with imaginary trajectories relevant to high-quality skills for each task. Through experiments, we show that our multi-task offline RL approach is robust to the mixed configurations of different-quality datasets and it outperforms other state-of-the-art algorithms for several robotic manipulation tasks and drone navigation tasks.