Explainable Reinforcement Learning via Physics-Aware Policy Distillation
作者: Shaker Al-Tamari, Waled Kadour
分类: cs.LG
发布日期: 2026-07-27
备注: 6 pages, 7 figures
💡 一句话要点
通过物理感知的策略蒸馏提升深度强化学习可解释性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 可解释性 策略蒸馏 物理感知 决策树 安全关键系统 控制理论
📋 核心要点
- 现有的深度强化学习方法因其黑箱特性，难以满足安全关键领域的透明性需求。
- 提出了一种基于物理感知的策略蒸馏框架，将高性能的TD3代理策略转化为可解释的决策树模型。
- 实验结果表明，蒸馏后的模型在性能上与教师模型相当，同时保持了系统的稳定性和可解释性。
📝 摘要（中文）
在机器人和汽车工程等安全关键领域，深度强化学习（DRL）的应用常因深度神经网络的黑箱特性而受阻。这种缺乏透明度的问题对监管合规和人机信任构成了重大挑战。本文提出了一种实验研究，旨在使高性能的连续控制DRL系统可解释。通过经典的倒立摆基准，实施了一种策略蒸馏框架。高性能的双延迟DDPG（TD3）代理作为不透明的教师模型，其策略被蒸馏为基于浅层决策树的可解释学生代理。通过利用自定义的物理感知特征和“噪声Oracle回放”生成数据集，蒸馏过程达到了与专家教师相当的性能。此外，控制理论分析揭示了一个基本的权衡：从连续控制转向离散基于规则的控制会引发高频的Bang-Bang驱动和稳定的双模极限环。仿真结果表明，在提供全球和局部可解释性的同时，保持了有界输入有界输出（BIBO）稳定性。
🔬 方法详解
问题定义：本文旨在解决深度强化学习在安全关键领域应用中的可解释性问题。现有方法的黑箱特性使得其在监管和人机信任方面面临挑战。
核心思路：通过策略蒸馏，将高性能的TD3代理的复杂策略转化为一个基于浅层决策树的可解释模型，从而提高系统的透明度和可理解性。
技术框架：整体架构包括教师模型（TD3代理）、蒸馏过程和学生模型（决策树）。首先，使用教师模型生成数据集，然后通过蒸馏过程训练学生模型。
关键创新：本研究的主要创新在于引入物理感知特征和“噪声Oracle回放”技术，使得蒸馏过程不仅保持了性能，还增强了模型的可解释性。与传统的黑箱模型相比，提供了更清晰的决策依据。
关键设计：在蒸馏过程中，采用了特定的损失函数来优化学生模型的性能，同时确保其可解释性。决策树的结构设计使得模型在保持高性能的同时，能够提供直观的决策逻辑。
🖼️ 关键图片
📊 实验亮点
实验结果显示，蒸馏后的决策树模型在性能上与教师TD3模型相当，且在保持BIBO稳定性的同时，提供了全球和局部的可解释性。这一成果为安全关键领域的深度强化学习应用提供了新的解决方案。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在机器人控制和自动驾驶等安全关键领域。通过提高深度强化学习模型的可解释性，可以增强人机交互的信任度，促进技术的实际部署和监管合规。未来，该方法可能在其他需要透明决策的智能系统中得到应用。
📄 摘要（原文）
In safety-critical sectors such as robotics and automotive engineering, the deployment of Deep Reinforcement Learning (DRL) is often hindered by the black-box nature of deep neural networks. This lack of transparency poses significant challenges for regulatory compliance and human-agent trust. This paper presents an experimental study aimed at making high-performance continuous control DRL systems interpretable. A policy distillation framework is implemented using the classic Inverted Pendulum benchmark. A high-performance Twin Delayed DDPG (TD3) agent serves as an opaque, continuous teacher model, whose policy is distilled into an interpretable student surrogate based on a shallow Decision Tree. By leveraging a custom physics-aware feature and "Noisy Oracle Rollouts" for dataset generation, the distillation process achieves performance equivalent to the expert teacher. Furthermore, comparative control theory analysis reveals a fundamental trade-off: transitioning from continuous to discrete rule-based control induces high-frequency Bang-Bang actuation and a stable bimodal limit cycle. Simulation results indicate that Bounded-Input Bounded-Output (BIBO) stability is maintained while providing both global and local interpretability for safe autonomous systems.