Explaining Reinforcement Learning Agents via Inductive Logic Programming

📄 arXiv: 2607.13655v1 📥 PDF

作者: Celeste Veronese, Edoardo Zorzi, Daniele Meli, Alessandro Farinelli

分类: cs.AI

发布日期: 2026-07-15

💡 一句话要点

通过归纳逻辑编程提升强化学习代理的可解释性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可解释强化学习 归纳逻辑编程 符号表示 可解释性度量 多代理强化学习 决策过程 特征重要性 AI透明性

📋 核心要点

  1. 现有的可解释强化学习方法主要依赖用户研究，缺乏统一的评估标准，难以满足不同用户的需求。
  2. 本文提出了一种基于归纳逻辑编程的框架，通过定义新的可解释性度量来量化RL策略的可解释性。
  3. 实验结果显示，所提度量能够揭示特定动作的学习动态，并提供对多代理强化学习中协调和适应模式的深入理解。

📝 摘要（中文）

可解释强化学习（XRL）旨在提高强化学习（RL）策略的透明度和可解释性，这是安全关键和以人为中心场景中的关键需求。然而，现有方法主要基于用户研究，缺乏共享的评估指标。本文通过引入客观和规划导向的可解释性度量，推动XRL的研究进展。同时，提供了一种量化逻辑规则可解释性的原则性方法，超越了常识评估和简单命题片段。我们采用归纳逻辑编程（ILP）提取RL策略的符号表示，并定义了一套新的可解释性度量，包括激活率、特征覆盖率、语法距离和语义距离。这些度量量化了符号规则与代理行为之间的对齐程度、特征在决策中的作用，以及单代理和多代理RL中策略的演变。实验结果表明，所提度量能够揭示超越全局回报的特定动作学习动态，并提供对领域特征的细粒度洞察。

🔬 方法详解

问题定义：本文旨在解决可解释强化学习中缺乏统一评估指标的问题，现有方法往往依赖用户研究，难以量化可解释性。

核心思路：通过归纳逻辑编程（ILP）提取强化学习策略的符号表示，并定义一套新的可解释性度量，客观量化策略的可解释性。

技术框架：整体架构包括数据收集、ILP模型训练、符号规则提取和可解释性度量计算四个主要模块，形成一个闭环的评估体系。

关键创新：提出了一系列新的可解释性度量，如激活率和特征覆盖率，超越了传统的全局特征重要性评估，能够更细致地反映代理的决策过程。

关键设计：在ILP模型中，设置了特征选择和规则生成的参数，采用了基于语法和语义距离的损失函数，以优化符号规则的生成和可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提出的可解释性度量能够有效揭示特定动作的学习动态，相较于传统方法，提供了更细致的特征洞察，提升了对多代理强化学习中协调和适应模式的理解。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗决策和金融投资等安全关键场景，能够帮助用户理解和信任AI系统的决策过程。未来，随着可解释性需求的增加，该方法可能在更多领域得到推广和应用。

📄 摘要（原文）

Explainable Reinforcement Learning (XRL) seeks to make Reinforcement Learning (RL) policies more transparent and interpretable, a key requirement in safety-critical and human-centric scenarios. However, it is mostly based on user studies, thus targeting the needs of a specific audience and lacking shared evaluation metrics. On the other hand, logic-based approaches within eXplainable Artificial Intelligence (XAI) provide compact, human-readable abstractions of decision-making. However, the systematic quantification of the explainability degree of logical representations remains an open problem. This work aims to advance the state of the art in XRL by introducing objective and planning-oriented metrics for policy explainability in RL settings. At the same time, it contributes to the field of logic for XAI by providing a principled way to quantify the explainability of logical rules, moving beyond common-sense assessments and simple propositional fragments. We employ Inductive Logic Programming (ILP) to extract symbolic representations of RL policies and define a novel set of explainability metrics, including activation rate, feature coverage, syntactic distance and semantic distance. These metrics quantify alignment between symbolic rules and agent behavior, the role of features in decision-making, and the evolution of policies during training and across agents in single and multi-agent RL. Experiments across different RL domains show that the proposed metrics highlight action-specific learning dynamics beyond global return, provide fine-grained insights into domain features beyond classical approaches for global feature importance estimation, and uncover coordination, specialization, and adaptation patterns in MARL. Moreover, they provide crucial insights for the transfer and generalization of action-specific policies.