Imitation from Diverse Behaviors: Wasserstein Quality Diversity Imitation Learning with Single-Step Archive Exploration

📄 arXiv: 2411.06965v2 📥 PDF

作者: Xingrui Yu, Zhenglin Wan, David Mark Bossens, Yueming Lyu, Qing Guo, Ivor W. Tsang

分类: cs.LG, cs.AI

发布日期: 2024-11-11 (更新: 2025-04-04)

💡 一句话要点

提出Wasserstein质量多样性模仿学习，解决从有限演示中学习多样化行为的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 质量多样性 Wasserstein自编码器 行为多样性 单步探索 强化学习 连续控制 MuJoCo

📋 核心要点

  1. 传统模仿学习方法难以从有限演示中学习多样化行为，通常只能学习到单一行为模式。
  2. WQDIL方法结合Wasserstein自编码器和单步存档探索，提升模仿学习的稳定性和多样性。
  3. 实验表明，WQDIL在MuJoCo连续控制任务中超越了现有模仿学习方法，达到甚至超过专家水平。

📝 摘要（中文）

从有限的演示数据中学习多样化和高性能的行为是一个巨大的挑战。传统的模仿学习方法通常无法胜任这项任务，因为它们大多被设计用来学习一种特定的行为，即使有多个演示。因此，需要新的“质量多样性模仿学习”技术，将质量多样性优化和模仿学习方法结合起来，以解决上述挑战。本文介绍了一种Wasserstein质量多样性模仿学习（WQDIL）方法，该方法：1）通过基于Wasserstein自编码器（WAE）的潜在对抗训练，提高了质量多样性设置中模仿学习的稳定性；2）通过使用带有单步存档探索奖励的度量条件奖励函数，缓解了行为过拟合问题。实验结果表明，我们的方法显著优于最先进的模仿学习方法，在源自MuJoCo环境的具有挑战性的连续控制任务上实现了接近专家或超越专家的QD性能。

🔬 方法详解

问题定义：论文旨在解决从少量且可能包含多种行为模式的演示数据中，学习到多样化且高性能策略的问题。现有模仿学习方法通常专注于学习单一策略，无法有效利用多样化的演示数据，导致性能受限，且容易过拟合到演示数据中的特定行为。

核心思路：论文的核心思路是将质量多样性（Quality Diversity, QD）优化与模仿学习相结合。通过鼓励探索不同的行为模式，并同时保证策略的性能，从而学习到一组多样化且高性能的策略。 Wasserstein自编码器（WAE）用于学习潜在空间，并在该空间中进行策略的探索和优化。

技术框架：WQDIL的整体框架包含以下几个主要模块：1) Wasserstein自编码器（WAE）：用于学习演示数据的潜在表示，并提供一个平滑的潜在空间，便于策略探索。2) 策略网络：基于潜在空间中的表示，生成相应的动作。3) 度量条件奖励函数：根据策略的行为特征（例如，速度、方向等）计算奖励，鼓励探索不同的行为模式。4) 单步存档探索：维护一个存档，记录已经探索过的行为模式，并给予探索新行为模式的策略额外的奖励。

关键创新：WQDIL的关键创新在于将Wasserstein自编码器与质量多样性模仿学习相结合，并引入了单步存档探索机制。WAE的使用提高了潜在空间的平滑性，使得策略探索更加稳定。单步存档探索则有效地缓解了行为过拟合问题，并鼓励策略探索新的行为模式。与传统的质量多样性算法相比，WQDIL直接从演示数据中学习，无需手动设计奖励函数。

关键设计：WAE使用对抗训练的方式，使得潜在空间的分布与先验分布（例如，高斯分布）尽可能接近。度量条件奖励函数的设计需要根据具体的任务进行调整，通常选择能够反映策略行为特征的度量。单步存档探索的奖励系数需要仔细调整，以平衡策略的性能和多样性。策略网络可以使用常见的深度神经网络结构，例如，多层感知机或循环神经网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WQDIL在多个MuJoCo连续控制任务中显著优于现有的模仿学习方法。例如，在Ant-v3任务中，WQDIL的性能超过了Behavioral Cloning (BC) 和 Generative Adversarial Imitation Learning (GAIL) 等基线方法，并且达到了甚至超过了专家水平。此外，WQDIL还能够学习到多样化的行为模式，例如，在HalfCheetah-v3任务中，WQDIL能够学习到向前跑、向后跑、跳跃等多种不同的行为。

🎯 应用场景

WQDIL具有广泛的应用前景，例如机器人控制、游戏AI、自动驾驶等领域。它可以用于从人类演示或专家策略中学习多样化的行为模式，从而提高智能体的适应性和鲁棒性。例如，在机器人控制中，WQDIL可以用于学习不同的运动技能，使得机器人能够适应不同的环境和任务需求。在游戏AI中，WQDIL可以用于生成多样化的游戏角色行为，提高游戏的可玩性和挑战性。

📄 摘要（原文）

Learning diverse and high-performance behaviors from a limited set of demonstrations is a grand challenge. Traditional imitation learning methods usually fail in this task because most of them are designed to learn one specific behavior even with multiple demonstrations. Therefore, novel techniques for \textit{quality diversity imitation learning}, which bridges the quality diversity optimization and imitation learning methods, are needed to solve the above challenge. This work introduces Wasserstein Quality Diversity Imitation Learning (WQDIL), which 1) improves the stability of imitation learning in the quality diversity setting with latent adversarial training based on a Wasserstein Auto-Encoder (WAE), and 2) mitigates a behavior-overfitting issue using a measure-conditioned reward function with a single-step archive exploration bonus. Empirically, our method significantly outperforms state-of-the-art IL methods, achieving near-expert or beyond-expert QD performance on the challenging continuous control tasks derived from MuJoCo environments.