From Black Box to Executable Logic: Explainable Reinforcement Learning through Prolog Expert Systems
作者: Eduardo C. Garrido-Merchán
分类: cs.AI
发布日期: 2026-07-20
💡 一句话要点
通过Prolog专家系统实现可解释的深度强化学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 可解释性 Prolog 逻辑程序 策略优化 机器学习 决策过程
📋 核心要点
- 现有的深度强化学习策略通常被视为黑箱，缺乏可解释性，难以理解其决策过程。
- 本文提出了一种将深度强化学习策略转换为可执行逻辑程序的三阶段后处理方法，以实现可解释性。
- 在多个实验任务中，扩展的Prolog程序在回报上超越了随机教师，并在连续控制任务中表现出色。
📝 摘要（中文）
训练好的深度强化学习策略通常被视为黑箱，本文探讨如何通过将其重写为可执行的逻辑程序来实现可解释性。我们提出了一种三阶段的后处理转换方法，提取冻结的近端策略优化教师，从其决策中诱导出有序规则列表，并将结果输出为Prolog程序。该程序的每个决策均由现成的逻辑引擎执行，后续扩展阶段仅在策略评估认证回报增加时接受规则库的编辑。我们证明了四个保证，包括在有限马尔可夫决策过程中的回报损失界限。实验表明，在一个包含16,944个可达状态的任务中，扩展的Prolog程序在每个种子上都达到了精确的最优回报，并在预算限制下在十个种子中超过了随机教师的回报。
🔬 方法详解
问题定义：本文旨在解决深度强化学习策略的可解释性问题，现有方法的黑箱特性使得用户难以理解其决策依据。
核心思路：通过将训练好的策略重写为可执行的Prolog逻辑程序，使得每个决策都可以被人类理解和逻辑引擎执行，从而实现可解释性。
技术框架：整体方法分为三个主要阶段：首先提取冻结的近端策略优化教师，其次从决策中诱导出有序规则列表，最后将结果输出为Prolog程序并进行扩展编辑。
关键创新：最重要的创新在于将深度强化学习策略转化为逻辑程序，并通过逻辑引擎执行，提供了机器可验证的证书，显著提高了可解释性。
关键设计：在设计中，采用了回报损失界限作为机器检查证书，并确保扩展循环的单调改进和终止性，具体参数设置和损失函数设计在实验中进行了验证。
🖼️ 关键图片
📊 实验亮点
在实验中，扩展的Prolog程序在一个包含16,944个可达状态的任务中达到了精确的最优回报，并在预算限制下在十个种子中超过了随机教师的回报。此外，在连续控制任务中，程序在Acrobot任务中与神经教师的表现相匹配，并在CartPole任务中恢复了约97%的回报。
🎯 应用场景
该研究的潜在应用场景包括自动驾驶、医疗决策支持和金融投资等领域，能够帮助决策者理解和信任AI系统的决策过程。未来，随着可解释性需求的增加，该方法可能会在更多领域得到广泛应用，推动AI技术的透明化和可信度提升。
📄 摘要（原文）
A trained deep reinforcement learning policy is a black box, and we ask whether it can be made explainable by rewriting it as an executable logic program that reproduces its behaviour and that a person can read, a logic engine can run, and an optimizer can edit. We present a three-stage post-hoc transformation that extracts a frozen proximal policy optimization teacher, induces an ordered rule list from its decisions in the manner of classical relational learning, and emits the result as a Prolog program whose every decision is executed by an off-the-shelf logic engine; a subsequent expansion stage edits the rule base and accepts an edit only when policy evaluation certifies a return increase. We prove four guarantees. A return-loss bound makes the distilled program a machine-checkable certificate in a finite Markov decision process, and the expansion loop improves monotonically and terminates. For the continuous-observation setting we answer whether the conversion is possible at all: the propositional threshold instantiation converts the network to arbitrary fidelity as the resolution B grows, with disagreement O(1/B) and a return gap that closes at the same rate, and a matching lower bound shows the cost is exponential in the observation dimension for an oblique decision boundary. Empirically, on a two-room key-and-door task with 16,944 reachable states the expanded Prolog program attains exact optimal return in every seed and, in a budget-capped regime, exceeds the stochastic teacher on exact return in ten of ten seeds. On three continuous-control tasks the emitted program substitutes the network, matching the neural teacher within noise on Acrobot with eleven clauses and recovering about 97% of its return on CartPole, while on the finer-control LunarLander it recovers only partially, exactly the ceiling the exponential lower bound predicts.