Incremental Learning of Retrievable Skills For Efficient Continual Task Adaptation

📄 arXiv: 2410.22658v2 📥 PDF

作者: Daehee Lee, Minjong Yoo, Woo Kyung Kim, Wonje Choi, Honguk Woo

分类: cs.LG, cs.AI

发布日期: 2024-10-30 (更新: 2025-01-21)

💡 一句话要点

IsCiL：通过可检索技能增量学习实现高效的持续任务适应

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续模仿学习 增量学习 技能学习 适配器 原型记忆

📋 核心要点

  1. 传统持续模仿学习方法缺乏有效的知识共享机制，限制了在非平稳环境中任务适应的效率。
  2. IsCiL通过增量学习可检索的技能来解决知识共享问题，利用原型记忆在状态嵌入空间中检索相关技能。
  3. 在Franka-Kitchen和Meta-World等复杂任务上的实验表明，IsCiL在任务适应和样本效率方面表现出色。

📝 摘要（中文）

持续模仿学习(CiL)旨在从多个阶段和任务的演示中提取和积累任务知识，以实现多任务策略。随着基础模型的最新进展，基于适配器的CiL方法越来越受到关注，这些方法以参数高效的方式为新演示的任务建立适配器。虽然这些方法隔离了特定任务的参数，并倾向于减轻灾难性遗忘，但它们限制了不同演示之间的知识共享。我们引入了IsCiL，这是一个基于适配器的CiL框架，它通过增量学习来自不同演示的可共享技能来解决知识共享的限制，从而在使用技能时能够实现样本高效的任务适应，尤其是在非平稳CiL环境中。在IsCiL中，演示被映射到状态嵌入空间，在该空间中，可以通过基于原型的记忆在输入状态时检索适当的技能。这些可检索的技能在其相应的适配器上以增量方式学习。我们在Franka-Kitchen和Meta-World中对复杂任务进行的CiL实验证明了IsCiL在任务适应和样本效率方面的强大性能。我们还展示了IsCiL在任务取消学习场景中的一个简单扩展。

🔬 方法详解

问题定义：持续模仿学习旨在让智能体能够不断学习新的任务，但现有方法，特别是基于适配器的持续模仿学习方法，虽然能缓解灾难性遗忘，但缺乏不同任务演示之间的知识共享，导致样本效率低下，尤其是在任务分布不断变化的非平稳环境中。

核心思路：IsCiL的核心思路是将任务演示映射到状态嵌入空间，并从中学习可复用的技能。通过原型记忆机制，可以根据当前状态检索到合适的技能，并利用适配器进行增量学习。这种方式实现了知识在不同任务间的共享，提高了样本效率和适应能力。

技术框架：IsCiL框架主要包含以下几个模块：1) 状态嵌入模块：将原始状态映射到状态嵌入空间。2) 原型记忆模块：存储学习到的技能原型，用于技能检索。3) 技能检索模块：根据当前状态嵌入，从原型记忆中检索相关技能。4) 适配器模块：为每个技能分配一个适配器，用于增量学习和参数更新。整体流程是，给定一个任务演示，首先将其映射到状态嵌入空间，然后通过原型记忆检索相关技能，最后利用适配器对检索到的技能进行增量学习。

关键创新：IsCiL的关键创新在于提出了可检索技能的增量学习机制。与以往方法直接学习任务策略不同，IsCiL学习的是通用的、可复用的技能，并通过原型记忆实现技能的检索和复用。这种方式使得知识可以在不同任务间共享，提高了样本效率和适应能力。

关键设计：IsCiL的关键设计包括：1) 状态嵌入网络的结构和训练方式，用于提取有效的状态表示。2) 原型记忆的更新策略，用于维护技能原型的质量和多样性。3) 技能检索的相似度度量方式，用于准确检索相关技能。4) 适配器的结构和训练方式，用于高效地学习和更新技能参数。具体的损失函数和网络结构等细节在论文中应该有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IsCiL在Franka-Kitchen和Meta-World等复杂任务上的实验结果表明，该方法在任务适应和样本效率方面优于现有方法。具体性能数据和提升幅度需要在论文中查找（未知），但摘要中明确指出IsCiL表现出“robust performance”，表明其具有较强的鲁棒性。

🎯 应用场景

IsCiL适用于机器人持续学习、自动化控制、游戏AI等领域。通过不断学习和积累技能，机器人可以更好地适应复杂多变的环境，完成各种任务。该研究有助于提升机器人的智能化水平，降低开发成本，加速机器人在实际场景中的应用。

📄 摘要（原文）

Continual Imitation Learning (CiL) involves extracting and accumulating task knowledge from demonstrations across multiple stages and tasks to achieve a multi-task policy. With recent advancements in foundation models, there has been a growing interest in adapter-based CiL approaches, where adapters are established parameter-efficiently for tasks newly demonstrated. While these approaches isolate parameters for specific tasks and tend to mitigate catastrophic forgetting, they limit knowledge sharing among different demonstrations. We introduce IsCiL, an adapter-based CiL framework that addresses this limitation of knowledge sharing by incrementally learning shareable skills from different demonstrations, thus enabling sample-efficient task adaptation using the skills particularly in non-stationary CiL environments. In IsCiL, demonstrations are mapped into the state embedding space, where proper skills can be retrieved upon input states through prototype-based memory. These retrievable skills are incrementally learned on their corresponding adapters. Our CiL experiments with complex tasks in Franka-Kitchen and Meta-World demonstrate robust performance of IsCiL in both task adaptation and sample-efficiency. We also show a simple extension of IsCiL for task unlearning scenarios.