Inverse Reinforcement Learning with Multiple Planning Horizons

📄 arXiv: 2409.18051v1 📥 PDF

作者: Jiayu Yao, Weiwei Pan, Finale Doshi-Velez, Barbara E Engelhardt

分类: cs.LG

发布日期: 2024-09-26

备注: Accepted at RLC 2024

期刊: Reinforcement Learning Journal 3 (2024) 1138-1167

💡 一句话要点

提出多规划视野下的逆强化学习算法，解决专家折扣因子未知时的奖励函数学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 逆强化学习 多智能体系统 奖励函数学习 折扣因子 规划视野

📋 核心要点

  1. 现有逆强化学习方法在专家折扣因子未知时，奖励函数解空间过大，难以有效学习。
  2. 提出一种学习全局奖励函数和个体折扣因子的算法，重构专家策略，缩小可行解空间。
  3. 实验证明，该方法学习的奖励函数在多个领域具有良好的泛化能力。

📝 摘要（中文）

本文研究了一种逆强化学习（IRL）问题，其中专家在共享奖励函数下进行规划，但具有不同的、未知的规划视野（即折扣因子）。在缺乏折扣因子知识的情况下，奖励函数的可行解空间更大，这使得现有的IRL方法难以识别奖励函数。为了克服这一挑战，我们开发了能够学习全局多智能体奖励函数以及智能体特定的折扣因子的算法，从而重构专家策略。我们描述了两种算法的奖励函数和折扣因子的可行解空间，并证明了学习到的奖励函数在多个领域中的泛化能力。

🔬 方法详解

问题定义：论文旨在解决多智能体逆强化学习问题，其中每个智能体基于相同的底层奖励函数进行决策，但具有不同的、未知的规划视野（折扣因子）。现有IRL方法在折扣因子未知的情况下，奖励函数的可行解空间会显著增大，导致学习到的奖励函数不准确或不稳定。这使得从专家策略中推断出真实的奖励函数变得非常困难。

核心思路：论文的核心思路是同时学习一个全局共享的奖励函数以及每个智能体特定的折扣因子。通过联合优化奖励函数和折扣因子，可以更准确地重构专家策略，从而缩小奖励函数的可行解空间。这种方法假设专家行为是基于对未来回报的理性规划，并利用专家策略来约束奖励函数和折扣因子的估计。

技术框架：该论文提出了两种算法来解决这个问题，具体的技术框架未知。但可以推断，整体流程可能包括以下几个阶段：1）收集专家策略数据；2）初始化奖励函数和折扣因子；3）使用优化算法（如梯度下降）迭代更新奖励函数和折扣因子，目标是最小化重构策略与专家策略之间的差异；4）评估学习到的奖励函数和折扣因子的泛化能力。

关键创新：该论文的关键创新在于提出了一种能够同时学习全局奖励函数和个体折扣因子的IRL算法。与传统的IRL方法相比，该方法能够处理专家具有不同规划视野的情况，从而更准确地推断出真实的奖励函数。此外，论文还对奖励函数和折扣因子的可行解空间进行了理论分析。

关键设计：具体的参数设置、损失函数和网络结构未知。但可以推测，损失函数可能包括两部分：一部分用于衡量重构策略与专家策略之间的差异（例如，使用KL散度或交叉熵），另一部分用于正则化奖励函数和折扣因子，以避免过拟合。优化算法可能采用梯度下降或其变体，例如Adam或RMSprop。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明了所提出的算法能够有效地学习全局奖励函数和个体折扣因子。实验结果表明，学习到的奖励函数在多个领域具有良好的泛化能力，能够成功地重构专家策略。具体的性能数据和对比基线未知，但摘要强调了该方法在解决多规划视野IRL问题上的有效性。

🎯 应用场景

该研究成果可应用于机器人、自动驾驶、推荐系统等领域。例如，在多机器人协作任务中，不同机器人可能具有不同的任务优先级或资源限制，导致其规划视野不同。该方法可以学习一个共享的任务目标，并为每个机器人学习一个特定的折扣因子，从而实现更有效的协作。在推荐系统中，可以根据用户的历史行为推断其对不同类型商品的偏好程度（奖励函数）以及对未来消费的规划（折扣因子），从而提供更个性化的推荐。

📄 摘要（原文）

In this work, we study an inverse reinforcement learning (IRL) problem where the experts are planning under a shared reward function but with different, unknown planning horizons. Without the knowledge of discount factors, the reward function has a larger feasible solution set, which makes it harder for existing IRL approaches to identify a reward function. To overcome this challenge, we develop algorithms that can learn a global multi-agent reward function with agent-specific discount factors that reconstruct the expert policies. We characterize the feasible solution space of the reward function and discount factors for both algorithms and demonstrate the generalizability of the learned reward function across multiple domains.