Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching

📄 arXiv: 2411.07007v2 📥 PDF

作者: Arnav Kumar Jain, Harley Wiltzer, Jesse Farebrother, Irina Rish, Glen Berseth, Sanjiban Choudhury

分类: cs.LG, cs.AI

发布日期: 2024-11-11 (更新: 2025-04-22)

备注: Accepted to ICLR 2025

💡 一句话要点

提出基于后继特征匹配的非对抗逆强化学习方法，提升控制任务性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 逆强化学习 后继特征 策略梯度 非对抗学习 Actor-Critic 模仿学习 机器人控制

📋 核心要点

  1. 传统逆强化学习方法依赖于对抗博弈，计算成本高昂且训练不稳定，限制了其在复杂环境中的应用。
  2. 该论文提出一种非对抗的逆强化学习方法，通过直接优化策略，匹配学习者和专家的后继特征，避免了奖励函数的学习。
  3. 实验结果表明，该方法仅需少量专家演示即可学习，并在多种控制任务中超越现有方法，尤其是在仅有状态信息的情况下。

📝 摘要（中文）

在逆强化学习（IRL）中，智能体试图通过与环境交互来复现专家演示。传统上，IRL被视为一个对抗博弈，其中对抗者搜索奖励模型，学习者通过重复的强化学习过程来优化奖励。这种博弈求解方法计算成本高且难以稳定。本文提出了一种通过直接策略优化实现IRL的新方法：利用回报的线性分解，将其表示为后继特征和奖励向量的内积，我们设计了一种IRL算法，通过策略梯度下降来缩小学习者和专家特征之间的差距。我们的非对抗方法不需要学习奖励函数，并且可以使用现有的Actor-Critic强化学习算法无缝求解。值得注意的是，我们的方法在没有专家动作标签的状态信息设置中也能工作，而行为克隆（BC）无法解决此问题。实验结果表明，我们的方法可以从单个专家演示中学习，并在各种控制任务中实现更高的性能。

🔬 方法详解

问题定义：逆强化学习旨在从专家演示中学习策略，而无需显式地定义奖励函数。现有的对抗性方法通常需要迭代地学习奖励函数和策略，计算成本高，训练过程不稳定，并且对奖励函数的选择敏感。此外，行为克隆等方法在仅有状态信息而缺乏动作信息的情况下失效。

核心思路：该论文的核心思路是利用回报的线性分解特性，将回报表示为后继特征和奖励向量的内积。通过直接优化策略，使得学习者的后继特征与专家的后继特征相匹配，从而避免了显式地学习奖励函数。这种方法将逆强化学习问题转化为一个策略优化问题，可以使用现有的策略梯度方法进行求解。

技术框架：该方法基于Actor-Critic框架。Actor网络负责生成策略，Critic网络负责评估策略。算法流程如下：1. 收集专家演示数据。2. 计算专家演示数据的后继特征。3. 使用策略梯度下降法，优化Actor网络，使得学习者的后继特征与专家的后继特征之间的差距最小化。4. 使用Critic网络评估当前策略，并更新Actor和Critic网络参数。

关键创新：该方法最重要的创新点在于提出了非对抗的逆强化学习框架，通过直接匹配后继特征来学习策略，避免了奖励函数的学习。这与传统的对抗性方法有本质区别，降低了计算复杂度，提高了训练稳定性。此外，该方法在仅有状态信息的情况下也能工作，扩展了逆强化学习的应用范围。

关键设计：该方法使用策略梯度下降法来优化Actor网络，目标是最小化学习者和专家后继特征之间的差距。具体而言，损失函数可以定义为后继特征差异的L2范数。Actor和Critic网络可以使用常见的神经网络结构，例如多层感知机或循环神经网络。关键参数包括学习率、折扣因子和正则化系数等。后继特征的计算方式也需要仔细设计，例如可以使用时间差分学习或蒙特卡洛方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多种控制任务中表现优异，例如倒立摆、四旋翼飞行器等。在仅使用少量专家演示的情况下，该方法也能学习到有效的策略，并且在某些任务中超越了行为克隆等基线方法。尤其值得一提的是，该方法在仅有状态信息的情况下也能成功学习，而行为克隆方法则无法解决此问题。

🎯 应用场景

该研究成果可应用于机器人控制、自动驾驶、游戏AI等领域。例如，可以利用该方法从人类驾驶员的演示数据中学习自动驾驶策略，或者从游戏高手的录像中学习游戏AI。该方法尤其适用于难以定义奖励函数的复杂任务，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

In inverse reinforcement learning (IRL), an agent seeks to replicate expert demonstrations through interactions with the environment. Traditionally, IRL is treated as an adversarial game, where an adversary searches over reward models, and a learner optimizes the reward through repeated RL procedures. This game-solving approach is both computationally expensive and difficult to stabilize. In this work, we propose a novel approach to IRL by direct policy optimization: exploiting a linear factorization of the return as the inner product of successor features and a reward vector, we design an IRL algorithm by policy gradient descent on the gap between the learner and expert features. Our non-adversarial method does not require learning a reward function and can be solved seamlessly with existing actor-critic RL algorithms. Remarkably, our approach works in state-only settings without expert action labels, a setting which behavior cloning (BC) cannot solve. Empirical results demonstrate that our method learns from as few as a single expert demonstration and achieves improved performance on various control tasks.