BASIL: Best-Action Symbolic Interpretable Learning for Evolving Compact RL Policies

📄 arXiv: 2506.00328v3 📥 PDF

作者: Kourosh Shahnazari, Seyed Moein Ayyoubzadeh, Mohammadali Keshtparvar

分类: cs.AI

发布日期: 2025-05-31 (更新: 2025-06-11)

💡 一句话要点

提出BASIL以解决可解释强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 可解释强化学习 符号学习 进化算法 质量多样性优化 自动决策系统

📋 核心要点

  1. 现有的深度强化学习方法通常生成不透明的策略，导致可解释性不足，影响安全关键应用中的决策透明度。
  2. BASIL通过在线进化搜索和质量多样性优化，生成符号化的规则基础策略，确保策略的可解释性和紧凑性。
  3. 在CartPole-v1、MountainCar-v0和Acrobot-v1等基准任务中，BASIL合成的控制器在可解释性和表现上均与深度强化学习基线相当。

📝 摘要（中文）

可解释的强化学习是安全关键应用中自主决策系统部署的一项重大挑战。现代深度强化学习方法虽然强大，但往往产生不透明的策略，妨碍验证、降低透明度并阻碍人类监督。为此，本文提出BASIL（最佳行动符号可解释学习），通过在线进化搜索与质量多样性优化生成符号化、基于规则的策略。BASIL将策略表示为状态变量的有序符号谓词列表，确保完全可解释性和可处理的策略复杂性。通过使用质量多样性档案，该方法鼓励顶尖解决方案之间的行为和结构多样性，同时复杂度感知的适应度促进紧凑表示的合成。实证比较表明，BASIL在多个基准任务中合成的可解释控制器与深度强化学习基线相当。

🔬 方法详解

问题定义：本文旨在解决可解释强化学习中的策略不透明性问题。现有的深度强化学习方法往往生成复杂且难以理解的策略，限制了其在安全关键领域的应用。

核心思路：BASIL的核心思路是通过在线进化搜索生成符号化的规则基础策略，利用质量多样性优化来促进策略的行为和结构多样性，从而提高可解释性和紧凑性。

技术框架：BASIL的整体架构包括三个主要模块：符号谓词生成、在线进化搜索和质量多样性优化。首先，生成符号谓词以表示状态变量；其次，通过进化算法优化策略；最后，利用质量多样性档案确保策略的多样性。

关键创新：BASIL的最大创新在于结合了符号表达能力与进化多样性，通过复杂度感知的适应度函数，促进了紧凑表示的合成。这与传统深度学习方法的黑箱特性形成鲜明对比。

关键设计：在设计中，BASIL使用了精确的规则计数约束，并通过适应度函数平衡透明度与表达能力。具体的参数设置和损失函数设计确保了策略的有效性与可解释性。

📊 实验亮点

在实验中，BASIL在CartPole-v1、MountainCar-v0和Acrobot-v1等基准任务上表现出色，合成的可解释控制器在紧凑性和性能上与深度强化学习基线相当，展示了其在可解释性与表现之间的有效平衡。

🎯 应用场景

BASIL的研究成果在安全关键应用中具有广泛的潜在应用价值，如自动驾驶、医疗决策和金融风险管理等领域。通过提供可解释的决策支持，BASIL能够增强人类对自动化系统的信任，促进其在实际场景中的部署与应用。

📄 摘要（原文）

The quest for interpretable reinforcement learning is a grand challenge for the deployment of autonomous decision-making systems in safety-critical applications. Modern deep reinforcement learning approaches, while powerful, tend to produce opaque policies that compromise verification, reduce transparency, and impede human oversight. To address this, we introduce BASIL (Best-Action Symbolic Interpretable Learning), a systematic approach for generating symbolic, rule-based policies via online evolutionary search with quality-diversity (QD) optimization. BASIL represents policies as ordered lists of symbolic predicates over state variables, ensuring full interpretability and tractable policy complexity. By using a QD archive, the methodology in the proposed study encourages behavioral and structural diversity between top-performing solutions, while a complexity-aware fitness encourages the synthesis of compact representations. The evolutionary system supports the use of exact constraints for rule count and system adaptability for balancing transparency with expressiveness. Empirical comparisons with three benchmark tasks CartPole-v1, MountainCar-v0, and Acrobot-v1 show that BASIL consistently synthesizes interpretable controllers with compact representations comparable to deep reinforcement learning baselines. Herein, this article introduces a new interpretable policy synthesis method that combines symbolic expressiveness, evolutionary diversity, and online learning through a unifying framework.