Inferring Preferences from Demonstrations in Multi-objective Reinforcement Learning

📄 arXiv: 2409.20258v1 📥 PDF

作者: Junlin Lu, Patrick Mannion, Karl Mason

分类: cs.AI

发布日期: 2024-09-30

备注: Neural Comput & Applic (2024)

DOI: 10.1007/s00521-024-10412-x

💡 一句话要点

提出动态权重偏好推断算法，从演示中学习多目标强化学习偏好

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多目标强化学习 偏好推断 逆强化学习 动态权重 行为演示

📋 核心要点

  1. 多目标决策问题中，智能体偏好未知是挑战，现有方法效率和准确性不足。
  2. 提出动态权重偏好推断算法，通过动态调整权重学习智能体偏好。
  3. 实验表明，该算法在效率和准确性上优于现有算法，且适用于次优演示。

📝 摘要（中文）

许多决策问题涉及多个目标，决策者对于不同目标的偏好往往未知。然而，决策者的行为演示通常是可获得的。本研究提出了一种动态权重偏好推断（DWPI）算法，该算法能够从演示中推断出在多目标决策问题中行动的智能体的偏好。该算法在三个多目标马尔可夫决策过程（MDP）上进行了评估：深海寻宝、交通和物品收集，并与两种现有的偏好推断算法进行了比较。实验结果表明，与基线算法相比，在时间和推断准确性方面都有显著提高。DWPI算法在推断次优演示的偏好时也能保持其性能。此外，DWPI算法在推断过程中不需要与用户进行任何交互，只需要演示即可。我们提供了该算法的正确性证明和复杂度分析，并统计评估了不同演示表示下的性能。

🔬 方法详解

问题定义：论文旨在解决多目标强化学习中，如何从智能体的行为演示中推断其潜在偏好的问题。现有偏好推断方法通常需要与用户进行交互，或者在时间和准确性上存在不足，难以高效准确地学习智能体的偏好。

核心思路：论文的核心思路是利用动态权重来表示智能体对不同目标的偏好，并通过分析智能体的演示行为，动态地调整这些权重，从而推断出智能体的偏好。这种动态调整的方式能够更灵活地适应不同的决策场景和智能体行为。

技术框架：DWPI算法主要包含以下几个阶段：1) 收集智能体的行为演示数据；2) 初始化各个目标的权重；3) 根据演示数据，动态调整权重，具体来说，算法会根据演示行为与当前权重下的最优行为的差异，来更新权重；4) 重复步骤3，直到权重收敛或达到最大迭代次数；5) 输出推断出的偏好权重。

关键创新：DWPI算法的关键创新在于其动态权重调整机制。与静态权重或需要用户交互的方法不同，DWPI算法能够根据演示数据自适应地调整权重，从而更准确地推断智能体的偏好。此外，该算法不需要与用户进行交互，只需要演示数据即可，降低了使用成本。

关键设计：算法的关键设计包括：1) 权重更新规则：论文设计了一种基于演示行为与当前权重下最优行为差异的权重更新规则，该规则能够有效地引导权重向正确的方向调整；2) 收敛条件：算法设置了权重收敛条件，以确保算法能够在合理的时间内完成推断；3) 算法复杂度分析：论文对算法的复杂度进行了分析，证明了算法的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DWPI算法在深海寻宝、交通和物品收集等多个多目标MDP上，与现有算法相比，在时间和推断准确性方面都有显著提高。此外，DWPI算法在推断次优演示的偏好时也能保持其性能，表明该算法具有较强的鲁棒性。重要的是，该算法无需用户交互，仅依赖演示数据。

🎯 应用场景

该研究成果可应用于机器人、自动驾驶、推荐系统等领域。例如，在机器人领域，可以通过观察人类的演示行为，学习人类对不同任务目标的偏好，从而使机器人能够更好地完成任务。在自动驾驶领域，可以根据驾驶员的驾驶行为，推断其对安全、效率等目标的偏好，从而优化自动驾驶策略。在推荐系统中，可以根据用户的历史行为，推断其对不同类型商品的偏好，从而提供更个性化的推荐。

📄 摘要（原文）

Many decision-making problems feature multiple objectives where it is not always possible to know the preferences of a human or agent decision-maker for different objectives. However, demonstrated behaviors from the decision-maker are often available. This research proposes a dynamic weight-based preference inference (DWPI) algorithm that can infer the preferences of agents acting in multi-objective decision-making problems from demonstrations. The proposed algorithm is evaluated on three multi-objective Markov decision processes: Deep Sea Treasure, Traffic, and Item Gathering, and is compared to two existing preference inference algorithms. Empirical results demonstrate significant improvements compared to the baseline algorithms, in terms of both time efficiency and inference accuracy. The DWPI algorithm maintains its performance when inferring preferences for sub-optimal demonstrations. Moreover, the DWPI algorithm does not necessitate any interactions with the user during inference - only demonstrations are required. We provide a correctness proof and complexity analysis of the algorithm and statistically evaluate the performance under different representation of demonstrations.