SymbXRL: Symbolic Explainable Deep Reinforcement Learning for Mobile Networks

📄 arXiv: 2601.22024v1 📥 PDF

作者: Abhishek Duttagupta, MohammadErfan Jabbari, Claudio Fiandrino, Marco Fiore, Joerg Widmer

分类: cs.NI, cs.AI

发布日期: 2026-01-29

备注: 10 pages, 9 figures, published in IEEE INFOCOM 2025

期刊: IEEE INFOCOM 2025 - IEEE Conference on Computer Communications, London, United Kingdom, 19-22 May 2025, pp. 1-10

DOI: 10.1109/INFOCOM55648.2025.11044492

💡 一句话要点

SymbXRL：面向移动网络的符号化可解释深度强化学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 可解释性 符号人工智能 移动网络 资源分配

📋 核心要点

  1. DRL在移动网络资源分配中表现出色，但其黑盒特性限制了实际应用。
  2. SymbXRL利用符号AI生成人类可理解的规则，解释DRL智能体的决策过程。
  3. 实验表明，SymbXRL不仅提升了解释的语义，还实现了基于意图的智能体控制，奖励提升12%。

📝 摘要（中文）

未来的第六代(6G)移动网络将越来越依赖于深度强化学习(DRL)来实时优化网络决策。DRL在各种资源分配问题中表现出显著的有效性，例如用户调度和天线分配的联合决策，或计算资源和调制的同步控制。然而，训练后的DRL智能体是黑盒，本质上难以解释，这阻碍了它们在生产环境中的应用。在本文中，我们朝着消除这一关键障碍迈出了一步，提出了一种新颖的可解释强化学习(XRL)技术SymbXRL，它为DRL智能体综合了人类可解释的解释。SymbXRL利用符号人工智能来生成解释，其中关键概念及其关系通过直观的符号和规则来描述；将这种表示与逻辑推理相结合，可以揭示DRL智能体的决策过程，并提供比现有方法更易于理解的行为描述。我们在DRL支持的实际网络管理用例中验证了SymbXRL，证明它不仅提高了解释的语义，而且为显式智能体控制铺平了道路：例如，它支持基于意图的程序化动作引导，与纯DRL解决方案相比，中位数累积奖励提高了12%。

🔬 方法详解

问题定义：论文旨在解决深度强化学习（DRL）在移动网络资源管理中的可解释性问题。尽管DRL在优化网络决策方面表现出色，但其黑盒特性使得理解和信任其决策过程变得困难，阻碍了其在实际生产环境中的部署。现有方法难以提供清晰、人类可理解的解释。

核心思路：SymbXRL的核心思路是将DRL智能体的决策过程转化为人类可理解的符号规则。通过符号AI，将DRL学习到的复杂策略提炼成简洁的逻辑规则，从而揭示智能体行为背后的原因。这种方法旨在弥合DRL的强大性能与人类理解之间的差距。

技术框架：SymbXRL的技术框架包含以下主要阶段：1) DRL智能体训练：使用DRL算法训练智能体以优化网络资源分配。2) 符号提取：从训练好的DRL智能体中提取关键概念和关系，并用符号表示。3) 规则生成：利用符号AI技术，将提取的符号关系转化为人类可理解的逻辑规则。4) 解释生成：根据生成的规则，为DRL智能体的决策提供解释。5) 意图引导：利用生成的规则，实现基于意图的程序化动作引导。

关键创新：SymbXRL的关键创新在于将符号AI与DRL相结合，从而生成人类可理解的解释。与现有XRL方法相比，SymbXRL提供的解释更具语义性，更易于理解和信任。此外，SymbXRL还实现了基于意图的智能体控制，允许用户通过指定意图来影响智能体的行为。

关键设计：论文中未明确给出关键参数设置、损失函数、网络结构等技术细节。符号提取和规则生成的具体算法未知，但推测可能涉及决策树、规则学习等符号AI技术。意图引导的具体实现方式也未知，但可能涉及将用户意图转化为对规则的约束或修改。

📊 实验亮点

实验结果表明，SymbXRL不仅提高了DRL智能体决策的可解释性，还实现了基于意图的程序化动作引导，与纯DRL解决方案相比，中位数累积奖励提高了12%。这表明SymbXRL在提高DRL智能体性能的同时，也增强了其可控性和可信度。

🎯 应用场景

SymbXRL可应用于各种移动网络资源管理场景，例如用户调度、天线分配、计算资源控制和调制方案选择。通过提供可解释的决策过程，SymbXRL可以提高网络运营商对DRL智能体的信任度，并促进其在实际生产环境中的部署。此外，SymbXRL还可用于故障诊断和性能优化，帮助运营商更好地理解和管理网络。

📄 摘要（原文）

The operation of future 6th-generation (6G) mobile networks will increasingly rely on the ability of deep reinforcement learning (DRL) to optimize network decisions in real-time. DRL yields demonstrated efficacy in various resource allocation problems, such as joint decisions on user scheduling and antenna allocation or simultaneous control of computing resources and modulation. However, trained DRL agents are closed-boxes and inherently difficult to explain, which hinders their adoption in production settings. In this paper, we make a step towards removing this critical barrier by presenting SymbXRL, a novel technique for explainable reinforcement learning (XRL) that synthesizes human-interpretable explanations for DRL agents. SymbXRL leverages symbolic AI to produce explanations where key concepts and their relationships are described via intuitive symbols and rules; coupling such a representation with logical reasoning exposes the decision process of DRL agents and offers more comprehensible descriptions of their behaviors compared to existing approaches. We validate SymbXRL in practical network management use cases supported by DRL, proving that it not only improves the semantics of the explanations but also paves the way for explicit agent control: for instance, it enables intent-based programmatic action steering that improves by 12% the median cumulative reward over a pure DRL solution.