Reinforcement Learning via Auxiliary Task Distillation

📄 arXiv: 2406.17168v1 📥 PDF

作者: Abhinav Narayan Harish, Larry Heck, Josiah P. Hanna, Zsolt Kira, Andrew Szot

分类: cs.LG, cs.AI, cs.RO

发布日期: 2024-06-24

💡 一句话要点

提出AuxDistill以解决长时间机器人控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 辅助任务 行为蒸馏 多任务学习 机器人控制 物体重排 深度学习

📋 核心要点

  1. 现有的强化学习方法在长时间机器人控制任务中表现不佳，尤其是在缺乏演示和预训练技能的情况下。
  2. AuxDistill通过同时进行多任务强化学习，从更易学习的辅助任务中蒸馏行为，以解决主任务。
  3. 在Habitat物体重排基准中，AuxDistill的成功率比最先进的基线高出2.3倍，显示出显著的性能提升。

📝 摘要（中文）

我们提出了一种新的方法——通过辅助任务蒸馏的强化学习（AuxDistill），旨在通过从辅助强化学习任务中蒸馏行为来解决长时间的机器人控制问题。AuxDistill通过同时进行多任务强化学习，利用更易学习且与主任务相关的辅助任务，来实现这一目标。加权蒸馏损失将这些辅助任务的行为转移到主任务上。我们展示了AuxDistill能够在没有演示、学习课程或预训练技能的情况下，从环境奖励中学习到一个像素到动作的策略，成功应对复杂的多阶段物体重排任务。在Habitat物体重排基准中，AuxDistill的成功率比之前的最先进基线高出2.3倍，并且超越了使用预训练技能和专家演示的方法。

🔬 方法详解

问题定义：本论文旨在解决长时间机器人控制任务中的学习效率低下问题。现有方法在缺乏演示和预训练技能时，难以有效学习复杂任务。

核心思路：AuxDistill的核心思路是通过并行执行多任务强化学习，利用辅助任务的学习成果来加速主任务的学习过程。这种设计使得主任务的学习变得更加高效和可靠。

技术框架：AuxDistill的整体架构包括多个模块：首先是辅助任务的定义与学习，其次是通过加权蒸馏损失将辅助任务的行为转移到主任务，最后是主任务的策略学习。

关键创新：AuxDistill的主要创新在于引入了加权蒸馏损失机制，使得从辅助任务到主任务的行为转移更加有效。这一方法与传统的单一任务学习方法有本质区别，能够更好地利用多任务学习的优势。

关键设计：在AuxDistill中，损失函数的设计采用了加权机制，以平衡辅助任务与主任务的学习。此外，网络结构上，采用了适应性策略网络，以便更好地处理复杂的环境状态和动作映射。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Habitat物体重排基准中，AuxDistill的成功率达到了2.3倍于之前的最先进基线，显示出其在无演示和无预训练技能情况下的卓越性能。这一结果表明，AuxDistill在解决复杂任务时的有效性和创新性。

🎯 应用场景

AuxDistill的研究成果在机器人控制、自动化系统和智能体学习等领域具有广泛的应用潜力。通过有效的行为蒸馏，该方法能够提升机器人在复杂环境中的自主学习能力，进而推动智能机器人在实际应用中的普及与发展。

📄 摘要（原文）

We present Reinforcement Learning via Auxiliary Task Distillation (AuxDistill), a new method that enables reinforcement learning (RL) to perform long-horizon robot control problems by distilling behaviors from auxiliary RL tasks. AuxDistill achieves this by concurrently carrying out multi-task RL with auxiliary tasks, which are easier to learn and relevant to the main task. A weighted distillation loss transfers behaviors from these auxiliary tasks to solve the main task. We demonstrate that AuxDistill can learn a pixels-to-actions policy for a challenging multi-stage embodied object rearrangement task from the environment reward without demonstrations, a learning curriculum, or pre-trained skills. AuxDistill achieves $2.3 \times$ higher success than the previous state-of-the-art baseline in the Habitat Object Rearrangement benchmark and outperforms methods that use pre-trained skills and expert demonstrations.