Rule-Guided Reinforcement Learning Policy Evaluation and Improvement

📄 arXiv: 2503.09270v1 📥 PDF

作者: Martin Tappler, Ignacio D. Lopez-Miguel, Sebastian Tschiatschek, Ezio Bartocci

分类: cs.LG, cs.SE

发布日期: 2025-03-12

备注: 11 pages, 3 figures, accompanying source code available at https://doi.org/10.6084/m9.figshare.28569017.v1

💡 一句话要点

LEGIBLE：一种规则引导的强化学习策略评估与改进方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 领域知识 规则挖掘 变质关系 策略评估 策略改进

📋 核心要点

  1. 现有深度强化学习方法难以有效利用领域知识，导致策略泛化能力不足，在复杂环境中表现欠佳。
  2. LEGIBLE方法通过从策略中挖掘规则，并利用变质关系进行泛化，从而将领域知识融入强化学习过程。
  3. 实验表明，LEGIBLE能够有效发现策略弱点，并利用规则指导策略执行，显著提升强化学习性能。

📝 摘要（中文）

本文研究了利用领域知识改进深度强化学习策略这一具有挑战性的问题。为此，我们提出了一种名为LEGIBLE的新方法，该方法遵循一个多步骤过程。首先，从深度强化学习策略中挖掘规则，构成一种部分符号化的表示，这些规则描述了强化学习策略做出和避免做出的决策。其次，我们使用表示为变质关系的领域知识来推广挖掘出的规则。我们将这些关系从软件测试领域调整到强化学习领域，以指定响应于观察变化而预期的动作变化。第三步是评估推广的规则，以确定哪些推广在强制执行时可以提高性能。这些改进揭示了策略的弱点，即策略没有学习到通用规则，因此可以通过规则指导来改进。LEGIBLE在变质关系的支持下，提供了一种表达和执行关于强化学习环境的领域知识的原则性方法。我们通过展示其有效地发现了11个强化学习环境中的弱点，并伴随对这些弱点的解释，以及通过展示使用规则指导策略执行可以提高所获奖励方面的性能，来证明我们方法的有效性。

🔬 方法详解

问题定义：论文旨在解决深度强化学习策略难以有效利用领域知识的问题。现有方法通常是黑盒式的，缺乏可解释性，并且难以将先验知识融入到学习过程中，导致策略在面对未见过的状态时表现不佳。此外，策略的弱点难以被发现和解释，阻碍了策略的改进。

核心思路：论文的核心思路是将领域知识以规则的形式融入强化学习过程。首先，从已训练的深度强化学习策略中提取规则，这些规则描述了策略在特定状态下采取的动作。然后，利用变质关系（Metamorphic Relations）对这些规则进行泛化，变质关系描述了输入变化与输出变化之间的预期关系。最后，通过评估泛化后的规则，找出策略的弱点，并利用这些规则指导策略的执行，从而提高策略的性能。

技术框架：LEGIBLE方法包含三个主要阶段：规则挖掘、规则泛化和规则评估与指导。规则挖掘阶段从深度强化学习策略中提取规则，这些规则以“如果...那么...”的形式表示策略的行为。规则泛化阶段利用变质关系对提取的规则进行泛化，生成更通用的规则。规则评估与指导阶段评估泛化后的规则，找出策略的弱点，并利用这些规则指导策略的执行，从而提高策略的性能。

关键创新：LEGIBLE的关键创新在于将变质关系引入强化学习领域，用于表示和利用领域知识。变质关系提供了一种原则性的方法来描述输入变化与输出变化之间的预期关系，从而可以有效地泛化从策略中提取的规则。此外，LEGIBLE方法能够发现策略的弱点，并提供对这些弱点的解释，从而为策略的改进提供了指导。

关键设计：规则挖掘阶段使用决策树学习算法从深度强化学习策略中提取规则。变质关系的选择取决于具体的强化学习环境和任务。规则评估阶段使用交叉验证方法评估泛化后的规则，并选择能够提高策略性能的规则。规则指导阶段通过修改策略的动作选择过程，强制执行选择的规则。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LEGIBLE方法能够有效发现11个强化学习环境中的策略弱点，并提供对这些弱点的解释。通过使用规则指导策略执行，LEGIBLE方法能够显著提高策略的性能，在某些环境中，奖励提升幅度超过20%。实验结果验证了LEGIBLE方法在利用领域知识改进强化学习策略方面的有效性。

🎯 应用场景

LEGIBLE方法可应用于各种需要利用领域知识的强化学习任务，例如机器人控制、游戏AI、自动驾驶等。该方法可以提高强化学习策略的泛化能力和可解释性，并为策略的改进提供指导。此外，该方法还可以用于验证强化学习策略的正确性，确保策略在各种情况下都能做出合理的决策。

📄 摘要（原文）

We consider the challenging problem of using domain knowledge to improve deep reinforcement learning policies. To this end, we propose LEGIBLE, a novel approach, following a multi-step process, which starts by mining rules from a deep RL policy, constituting a partially symbolic representation. These rules describe which decisions the RL policy makes and which it avoids making. In the second step, we generalize the mined rules using domain knowledge expressed as metamorphic relations. We adapt these relations from software testing to RL to specify expected changes of actions in response to changes in observations. The third step is evaluating generalized rules to determine which generalizations improve performance when enforced. These improvements show weaknesses in the policy, where it has not learned the general rules and thus can be improved by rule guidance. LEGIBLE supported by metamorphic relations provides a principled way of expressing and enforcing domain knowledge about RL environments. We show the efficacy of our approach by demonstrating that it effectively finds weaknesses, accompanied by explanations of these weaknesses, in eleven RL environments and by showcasing that guiding policy execution with rules improves performance w.r.t. gained reward.