REACT: Revealing Evolutionary Action Consequence Trajectories for Interpretable Reinforcement Learning

📄 arXiv: 2404.03359v1 📥 PDF

作者: Philipp Altmann, Céline Davignon, Maximilian Zorn, Fabian Ritz, Claudia Linnhoff-Popien, Thomas Gabor

分类: cs.LG, cs.AI, cs.NE

发布日期: 2024-04-04

备注: 12 pages, 12 figures

💡 一句话要点

提出REACT以增强强化学习模型的可解释性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 可解释性 进化算法 行为分析 多样性评估

📋 核心要点

  1. 现有的强化学习模型通常仅通过最佳行为进行验证，缺乏对模型在边缘情况下的全面理解。
  2. REACT通过引入对初始状态的干扰，利用进化算法生成多样化的轨迹，从而揭示模型的内在行为。
  3. 实验结果显示，REACT能够有效揭示RL模型的细微行为特征，超越了仅关注最佳性能的传统方法。

📝 摘要（中文）

为提高强化学习（RL）的可解释性，本文提出了揭示进化行动后果轨迹（REACT）。与现有方法仅基于训练期间学习到的最佳行为进行验证不同，REACT认为考虑一系列边缘案例轨迹能更全面地理解模型的内在行为。通过对初始状态施加干扰，并利用进化算法优化生成多样化的演示，REACT引入了一个联合适应度函数，以鼓励所遇状态和选择行动的局部与全局多样性。通过在离散和连续环境中评估不同训练时长的策略，结果表明REACT在揭示RL模型行为的细微方面上具有显著效果，从而提升了可解释性。

🔬 方法详解

问题定义：本文旨在解决现有强化学习模型可解释性不足的问题，尤其是在边缘案例下的行为理解。现有方法往往只关注模型的最佳表现，忽视了模型在不同情境下的表现差异。

核心思路：REACT的核心思路是通过对初始状态施加扰动，利用进化算法生成多样化的行动后果轨迹，从而全面揭示模型的行为特征。这种方法强调了对边缘情况的重视，提供了更深层次的理解。

技术框架：REACT的整体架构包括初始状态的扰动、进化算法的应用以及联合适应度函数的设计。首先，通过扰动生成初始状态的多样性，然后应用进化算法优化轨迹，最后通过适应度函数评估轨迹的多样性和有效性。

关键创新：REACT的主要创新在于引入了联合适应度函数，鼓励局部和全局状态与行动的多样性。这一设计使得模型在边缘情况下的行为得以被揭示，显著提升了可解释性。

关键设计：在关键设计上，REACT采用了适应度函数来平衡局部与全局多样性，同时在进化算法中设置了多样化的参数，以确保生成的轨迹覆盖广泛的状态空间和行动选择。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，REACT在揭示强化学习模型的行为方面表现出色，尤其是在边缘案例的分析中。与传统方法相比，REACT能够提供更丰富的行为洞察，提升了模型的可解释性，具体性能提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人控制和医疗决策等需要高可解释性的强化学习系统。通过提升模型的可解释性，REACT能够帮助开发者更好地理解和优化RL模型的决策过程，从而在实际应用中提高安全性和可靠性。

📄 摘要（原文）

To enhance the interpretability of Reinforcement Learning (RL), we propose Revealing Evolutionary Action Consequence Trajectories (REACT). In contrast to the prevalent practice of validating RL models based on their optimal behavior learned during training, we posit that considering a range of edge-case trajectories provides a more comprehensive understanding of their inherent behavior. To induce such scenarios, we introduce a disturbance to the initial state, optimizing it through an evolutionary algorithm to generate a diverse population of demonstrations. To evaluate the fitness of trajectories, REACT incorporates a joint fitness function that encourages both local and global diversity in the encountered states and chosen actions. Through assessments with policies trained for varying durations in discrete and continuous environments, we demonstrate the descriptive power of REACT. Our results highlight its effectiveness in revealing nuanced aspects of RL models' behavior beyond optimal performance, thereby contributing to improved interpretability.